1
ответ
Как скопировать из производства S3 в разработку S3 с использованием Python с разными ролями?
Мне нужно скопировать файлы из S3 Production (где у меня есть только права на чтение) для разработки S3 (у меня есть права на запись). Изменение, с которым я сталкиваюсь, - это смена ролей. Пока я справляюсь, мне нужно использовать роль Prod и ...
вопрос задан: 17 January 2019 22:59
1
ответ
Последовательные сценарии, обусловленные существованием файла S3
У меня есть три сценария Python. Предполагается, что они выполняются последовательно, но в разных средах. script1: создать обучающий и тестовый набор данных с помощью кластера AWS EMR и сохранить его на S3 ...
вопрос задан: 17 January 2019 16:54
1
ответ
Тайм-аут соединения для доступа к корзине S3 из лямбды
У меня есть несколько статических файлов в корзине S3, и я ТОЛЬКО хочу, чтобы моя лямбда-функция считывала их, все другие пути должны быть заблокированы. Как мне это настроить? Это на стороне S3 или на стороне VPC / Lambda или на обоих? Я имею ...
вопрос задан: 17 January 2019 15:44
1
ответ
Ограничить доступ к корзине в зависимости от пользователя в minio
Я занят настройкой minio в первый раз, и я хотел бы ограничить каждого пользователя так, чтобы он мог видеть только созданные им группы или общие группы. Идея в том, что админ может видеть все сегменты, но ...
вопрос задан: 17 January 2019 12:15
1
ответ
CLI AWS - сохранение полного вывода в виде файла журнала
Я использую команду aws s3 cp для загрузки файлов в мое хранилище s3. Я использую Windows cmd для этого и когда я запускаю следующую команду: aws s3 cp "logs.txt" s3: //test/logs.txt --debug > ./log_test ....
вопрос задан: 17 January 2019 10:22
1
ответ
Как сделать ссылку на скачивание файла S3
Я хочу сделать линк, чтобы загрузить S3 сохраненный файл. < a href = "https://s3.region.amazonaws.com/bucket/file.txt" загрузить > DownLoad < / a > он отображает только файл .txt в браузере. Так что я нашел способ ...
вопрос задан: 17 January 2019 02:33
1
ответ
Я использую S3 Bucket для размещения своего сайта, мне нужно, чтобы мой сайт был перенаправлен на мой компонент Dashboard [закрыто]
Так что я довольно новичок в использовании S3 в качестве места для размещения своих сайтов. Несколько вещей, в которых мне нужна помощь ... Во-первых, S3 требует, чтобы вы использовали index.html в качестве точки входа. Однако я создал свой сайт с помощью
вопрос задан: 16 January 2019 23:04
1
ответ
Автоматическое монтирование корзины S3 с помощью s3fs в Amazon CentOS
Я перепробовал все ответы на похожие вопросы, но ни один из них не помог. Я установил предохранитель S3, чтобы можно было установить ведро S3. После установки я выполнил следующие шаги: Шаг 1 ...
вопрос задан: 16 January 2019 21:54
1
ответ
Как я могу *** безопасно *** позволить пользователю удалить свой ресурс на AWS S3?
Я задавал этот вопрос 3 месяца назад, но я все еще ищу ответ, я получаю промежуточное ПО на стороне клиента - но я не хочу ситуации, когда пользователь случайно или злонамеренно удаляет ресурсы ...
вопрос задан: 16 January 2019 18:53
1
ответ
Доступ к лямбда-функции AWS из приложения веб-приложения java осуществляется по протоколу Https или Http.
Я получаю доступ к лямбда-функции из моего кода Java, и я хотел бы знать, использую ли Https или Https для этого запроса. Как мне это сделать. Вот так выглядит мой метод. общедоступный интерфейс ...
вопрос задан: 16 January 2019 18:09
1
ответ
Расчеты Dask требуют много времени для инициализации в ноутбуке Jupyter
Я пытаюсь использовать Dask для работы с набором данных, превышающим объем памяти, на моем ноутбуке через ноутбук Jupyter. Данные хранятся в виде множества CSV-файлов в корзине Amazon-s3. Эта первая клетка работает быстро ...
вопрос задан: 16 January 2019 18:09
1
ответ
Вызвать синхронизацию S3 из лямбды Python с boto3
Это продолжение предыдущего вопроса, который у меня был. Если это возможно, вместо вызова интерфейса командной строки AWS из лямбды Python я бы хотел использовать Boto3 (который имеет возможности S3). Тем не менее, я не вижу никакой синхронизации ...
вопрос задан: 16 January 2019 16:43
1
ответ
использование access_id и secret_key из aws-adfs невозможно
Нам нужно пройти аутентификацию на основе aws через AD, а затем использовать предоставленные access_key_id и secret_key для входа в систему и получения данных из корзины. Использовали инструмент aws-adfs: когда я захожу с этим ...
вопрос задан: 16 January 2019 14:53
1
ответ
Оптимизация записи разделенных данных в S3 в spark sql
У меня около 700 ГБ данных, которые я читаю из HDFS при каждом запуске задания Spark. Моя работа читает эти данные, фильтрует около 60% данных, разделяет их следующим образом: val toBePublishedSignals = hiveCtx.sql ("...
вопрос задан: 16 January 2019 14:03
1
ответ
Aws :: S3 :: Ошибки :: AccessDenied в Devise
Я пытаюсь сохранить изображения с помощью AmazonS3 для моего блога с помощью скрепки. В блоге реализован гем для входа / регистрации [Пользователь], и я хочу добавить изображение для каждого пользователя, сохранив его на Amazon S3. ...
вопрос задан: 16 January 2019 10:43
1
ответ
Удалите несколько вложенных папок в S3 Bucket с помощью AWS CLI
Можно ли удалить несколько подпапок в S3 с помощью интерфейса командной строки AWS? Там есть команды include и exclude, указанные в документации, но я думаю, что это для S3 Items, а не для папок? Пытался ...
вопрос задан: 16 January 2019 10:40
1
ответ
URL-адреса со знаком S3 меняются каждый раз при загрузке, даже если ключи одинаковы, кэширование отсутствует
Я столкнулся с проблемой, когда мне нужно кэшировать URL-адреса изображений в браузере после первой загрузки, чтобы при каждом обновлении одни и те же файлы не выбирались снова, а вместо этого они получали из кэша браузера. ...
вопрос задан: 16 January 2019 09:40
1
ответ
Раздел S3 (размер файла) для эффективного запроса Афины
У меня есть конвейер, который загружает ежедневные записи в S3. Затем я использую AWS Glue Crawler для создания раздела для облегчения запроса AWS Athena. Тем не менее, есть большие разделенные данные, по сравнению с ...
вопрос задан: 16 January 2019 09:03
1
ответ
Получение электронной почты в корзине AWS S3
Я попытался настроить AWS SES для получения электронных писем в моем AWS S3, но не смог найти ни одного выполненного шага - домен подтвержден. Добавлено значение TXT (BigRock.in). Добавлено значение MX в DNS домена (BigRock ....
вопрос задан: 16 January 2019 08:13
1
ответ
S3 параллельное чтение и запись производительности?
Рассмотрим сценарий, в котором Spark (или любая другая среда Hadoop) считывает большой (скажем, 1 ТБ) файл с S3. Как несколько искровых исполнителей параллельно читают очень большой файл из S3. В HDFS это очень ...
вопрос задан: 15 January 2019 19:02
1
ответ
AWS PHP SDK IAM createPolicy MalformedPolicyDocument
У меня возникают проблемы при создании политики IAM в AWS PHP SDK и получении ошибки MalformedPolicyDocument. Политика JSON мне кажется хорошей, поэтому я не уверен, почему она ломается. Я уверен, что это что-то ...
вопрос задан: 15 January 2019 18:56
1
ответ
Как читать файлы JSON из S3 с помощью S3AsyncClient
Я не могу понять, как читать JSON-файл из S3 в память как String. Примеры, которые я нахожу, вызывают getObjectContent (), однако это не доступно для GetObjectResponse, который я получаю из ...
вопрос задан: 15 January 2019 18:44
1
ответ
Заголовочные файлы для каталога данных клея AWS
У меня есть некоторые данные в s3, которые я хочу использовать AWS Glue для сканирования и сохранения в каталоге данных. Проблема у меня заключается в том, что сами данные не имеют строк заголовков. Вместо этого есть отдельный заголовочный файл ("...
вопрос задан: 15 January 2019 16:51
1
ответ
Как быть уверенным, что boost :: filesystem :: remove не пытается удалить файл, который используется другим процессом?
Я хочу загрузить файл в корзину AWS S3. Прежде чем сделать это, я создаю файл .gz из него, чтобы уменьшить его хранилище. После загрузки я хочу снова удалить файл .gz с помощью boost :: filesystem :: remove. ...
вопрос задан: 15 January 2019 09:53
1
ответ
Amazon S3 - HTTPS/SSL - действительно ли это возможно? [закрытый]
Я видел несколько других вопросов расценить это без любых реальных ответов или информации (или таким образом, это появилось). У меня есть изображение здесь: http://furniture.retailcatalog.us/products/2061/6262u9665.jpg, Который является...
вопрос задан: 29 July 2018 03:10
1
ответ
Шифрование на стороне сервера Amazon AWS в ios swift
В моем приложении я загружаю изображения, прикрепленные пользователем к ведро S3, в котором используется шифрование на стороне сервера. Мы использовали следующий код для Android для этого, и он работал. пытаться { ...
вопрос задан: 13 July 2018 12:43
1
ответ
Как перенаправить домен на Amazon AWS на внешнюю ссылку
У нас есть все наши домены и настройки на Amazon AWS. Мы создали не столь сложный вид статического веб-сайта, который размещен на Linux-машине в хостинговой компании. Теперь мы должны перенаправить домен e ....
вопрос задан: 13 July 2018 12:20
1
ответ
Как настроить уведомление на S3 после достижения количества объектов
Можно ли установить предупреждение в ведро S3, которое вызывается, когда определенное количество файлов помещается в ведро? Например, предупреждение генерируется, когда имеется более 7 объектов в ...
вопрос задан: 13 July 2018 09:36
1
ответ
Загрузите файл в AWS с клиентского javascript
У меня есть html с некоторыми скриптами (на стороне клиента). Я пытаюсь опубликовать json-файл в ведро, которое у меня есть в AWS S3 (создать или перезаписать существующий файл). Как это сделать, возможно, через ajax или ...
вопрос задан: 13 July 2018 09:16
1
ответ
c # Xamarin MacOS - AWS S3 - инициализировать многостраничную загрузку - подпись запроса POST
Кто-нибудь пытался инициализировать загрузку Multipart без SDK (SDK для xamarin.mac не работает)? Я пытаюсь инициализировать многостраничную загрузку, но безуспешно. Я использую образец кода из aws для ...
вопрос задан: 13 July 2018 08:32