4
ответа

Потоковая передача огромного файла gzip из s3 с использованием boto3 python [duplicate]

У меня есть файл gzip размером 4 ГБ на s3, я пытаюсь прочитать gzip-файл и записать распакованное содержимое в другой файл. Как мне это сделать с помощью boto3 python без загрузки всего файла в память?
вопрос задан: 2 October 2011 07:09
3
ответа

Как я устанавливаю boto?

Так, чтобы я смог работать с ним в рамках своих сценариев Python?
вопрос задан: 19 March 2010 14:18
3
ответа

Как клонировать ключ в Amazon S3 с помощью Python (и boto)?

Мне содержали файл в ключе в моем блоке S3. Я хочу создать новый ключ, который будет содержать тот же файл. Действительно ли возможно обойтись без загрузки того файла? Я ищу решение в Python...
вопрос задан: 23 September 2009 09:34
2
ответа

Django Boto S3 Access

Я не могу понять это. Вот что я хочу сделать ... У меня есть приложения, которые пользователи загружают файлы на S3, используя boto и django. Я хочу, чтобы эти файлы были приватными и доступны только через мой ...
вопрос задан: 17 August 2010 00:29
1
ответ

Boto3 не может получить элементы из DynamoDB

Поэтому я использую DynamoDB для хранения статуса моих заданий Spark. Я создал первичные ключи с именами scheduleTime (ключ раздела) и appName (ключ диапазона), и мои искровые задания записывают статус заданий после ...
вопрос задан: 15 January 2019 20:12
1
ответ

Boto3, Python и как обрабатывать ошибки

Я только что выбрал python в качестве своего языка сценариев перехода и пытаюсь понять, как правильно обрабатывать ошибки с помощью boto3. Я пытаюсь создать пользователя IAM: def create_user (username, iam_conn): ...
вопрос задан: 13 January 2016 05:23
1
ответ

Amazon S3 boto - как создать папку?

Как я могу создать папку под блоком с помощью boto библиотекой для Amazon S3? Я следовал руководству и создал ключи с разрешением, метаданные и т.д., но не где в документации boto это...
вопрос задан: 22 November 2015 14:57
1
ответ

Amazon S3 boto: Как Вы переименовываете файл в блоке?

Как Вы переименовываете ключ S3 в блоке с boto?
вопрос задан: 7 November 2013 15:56
1
ответ

Загрузите изображение, доступное по общедоступному URL-адресу S3, используя boto

Я работаю в веб-среде Python и могу просто загрузить файл из файловой системы на S3, используя ключ boto.set_contents_from_filename (путь / к / файлу). Тем не менее, я хотел бы загрузить изображение, которое ...
вопрос задан: 15 January 2013 21:17
1
ответ

Отключите boto, регистрирующийся, не изменяя boto файлы

Я пользуюсь библиотекой Boto, чтобы говорить с AWS. Я хочу отключить вход. (Или перенаправление к/dev/null или другому файлу). Я не могу найти очевидный способ сделать это. Я попробовал это, но это, кажется, не помогает...
вопрос задан: 2 November 2009 13:15
0
ответов

Amazon S3 бото -как удалить папку?

Я создал папку в s3 с именем «тест» и вставил «тест _1.jpg», «тест _2.jpg» в «тест». Как я могу использовать boto для удаления папки «тест»?
вопрос задан: 15 June 2019 21:37
0
ответов

Несколько рабочих нитей на осколке в Kinesis

У меня есть скрипт Python, написанный на Boto-V2.x, работающий на экземпляре EC2, и он создает один рабочий поток. Поток извлекает данные из Kinesis, используя тип итератора LATEST. Я хочу иметь несколько ...
вопрос задан: 1 March 2019 07:27
0
ответов

Использование Boto, чтобы найти, к какому устройству и тому EBS смонтирован том

Как узнать, к какому устройству смонтирован том EBS с Python Boto v2.0? boto.ec2.Volume имеет несколько интересных свойств, таких как attachment_state и volume_state. Но есть ли какие-нибудь функции для ...
вопрос задан: 13 August 2017 17:09
0
ответов

Сохранение изображений и эскизов на s3 в django

Я пытаюсь сохранить свои изображения в виде эскизов на s3, используя django-storerages, boto и sorl-thumbnail. У меня он работает, но очень медленно даже с небольшими изображениями. Я не против того, чтобы это было медленно, когда ...
вопрос задан: 23 May 2017 12:07
0
ответов

Обработка очередей SQS с помощью boto

У меня есть скрипт на Python, использующий библиотеку boto на экземпляре ec2, который является частью группы автоматического масштабирования. Скрипт обрабатывает сообщения из очереди SQS: import boto from boto.sqs.message import Message ...
вопрос задан: 23 May 2017 12:02
0
ответов

Как создать образ EC2 из запущенного экземпляра с помощью boto?

Я пытаюсь создать простой сценарий резервного копирования на Python для моих экземпляров EC2. Цель этого скрипта - создавать ежедневные / еженедельные снимки текущего компьютера (см. Этот вопрос на ServerFault). Я использую ...
вопрос задан: 13 April 2017 12:13
0
ответов

Ошибка «Не удалось загрузить привязки Boto S3».

Я следовал очень краткому руководству, предоставленному для django-хранилищ, перешел с локального хранилища файлов и столкнулся с этим исключением: Не удалось загрузить привязки Boto S3. settings.py ...
вопрос задан: 6 February 2016 02:02
0
ответов

Как удалить s3 из корзины с использованием boto и python

Когда я пытаюсь удалить корзину, используя следующие строки: conn = boto.connect_s3 (AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY) print conn.delete_Bucket ('BucketNameHere'). message Он сообщает мне, что корзина пытался ...
вопрос задан: 7 August 2015 21:24
0
ответов

TypeError загружает файл изображения в Amazon S3 в Django используя библиотеку BOTO

Я абсолютный новичок в программировании и Django, так что я был бы признателен за помощь в том, что новичок может разобраться! Я следовал учебному пособию, чтобы показать, как загружать изображения в учетную запись Amazon S3 с помощью ...
вопрос задан: 4 May 2015 12:24
0
ответов

Фильтрация ec2-экземпляров с помощью boto

Я использую теги для отслеживания моих экземпляров EC2, таких как (Project, Environment). У меня есть случай использования, когда мне нужно отфильтровать только те экземпляры, которые принадлежат конкретному проекту и конкретному ...
вопрос задан: 15 March 2015 13:24
0
ответов

как я могу установить ключ заголовка s3 user-agent с любым другим значением (скажем, «mystring»), используя boto

Я передал заголовок с User-Agent, установленным в функцию make_request () класса AWSConnection в файле connection.py, и обнаружил, что это переопределяется жестко закодированным значением в authorize () ...
вопрос задан: 25 February 2015 07:00
0
ответов

Python boto, список содержимого определенного каталога в корзине

У меня есть доступ S3 только к определенному каталогу в ведре S3. Например, с помощью команды s3cmd, если я пытаюсь перечислить весь сегмент: $ s3cmd ls s3: // my-bucket-url, я получаю сообщение об ошибке: Доступ к ...
вопрос задан: 4 December 2014 12:21
0
ответов

Загрузить изображение с измененным размером в S3

Я пытаюсь загрузить изображение с измененным размером в S3: fp = urllib.urlopen ('http: /example.com /test.png ') img = cStringIO.StringIO (fp.read ()) im = Image.open (img) im2 = im.resize ((500, 100), Image.NEAREST) ​​AK = ...
вопрос задан: 10 October 2014 10:35
0
ответов

Как копировать файлы размером более 5 ГБ в Amazon S3?

В документации Amazon S3 REST API указано, что существует ограничение на размер 5 ГБ для загрузки в операции PUT. Файлы большего размера должны быть загружены с использованием multipart. Отлично. Однако, по сути, мне нужно следующее...
вопрос задан: 8 April 2014 20:25
0
ответов

S3 boto list keys иногда возвращает ключ каталога

Я заметил разницу между возвратами из API Бото в зависимости от местоположения ведра. У меня есть следующий код: con = S3Connection (AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY) bucket = con ....
вопрос задан: 3 February 2014 09:29
0
ответов

python s3 с помощью boto, говорит 'ошибку атрибута: объект 'ул.' не имеет никакого атрибута 'соединение'

У меня есть соединение, которое работает, поскольку я могу перечислить блоки, но имеющие проблемы при попытке добавить объект. ведите = S3Connection (awskey, awssecret) ключ = Ключ (mybucket) key.key = p.sku ключ....
вопрос задан: 30 January 2014 22:28
0
ответов

Как мне истечь ключи в DynamoDB с помощью Boto?

Я пытаюсь перейти с Redis на DynamoDB, но все работает отлично! Единственное, что мне еще предстоит выяснить, это истечение срока действия ключа. В настоящее время у меня есть настройки данных с одним первичным ключом и ...
вопрос задан: 24 January 2014 01:26
0
ответов

Чтение необработанных сообщений из Amazon SQS с помощью boto

По умолчанию кодирует сообщения с помощью Base64 перед отправкой сообщений в SQS. Пример кода: conn = boto.connect_sqs('access_key_id', 'secret_key') q = conn.get_queue('myqueue') м = Сообщение() m....
вопрос задан: 8 January 2014 23:12
0
ответов

Boto connect _Метод xxx и пулы соединений

Если я несколько раз вызываю boto.connect _xxx, где xxx — это служба (, dynamodb, s3 и т. д. ), каждый раз создается новый пул соединений? Я хотел бы сделать что-то вроде этого (примера в Flask ):...
вопрос задан: 5 September 2013 16:39
0
ответов

Как я могу получить дату и время последнего изменения объектов S3 с помощью boto?

Я пишу скрипты на Python для загрузки файлов на s3 с помощью boto. Я хочу загружать только измененные файлы, которые я могу проверить по дате последнего изменения. Но я не могу найти API, чтобы получить последнюю модификацию в ...
вопрос задан: 5 August 2013 15:16