Самый дешевый способ удалить 2 миллиарда объектов из S3 IA

Не точный, но способ вокруг.

Использовать API-интерфейс разработчика GitHub

  1. . При открытии этого кода вы получите последние коммиты. https://api.github.com/repos/learningequality/ka-lite/commits Вы можете получить конкретные детали коммита, добавив хеш фиксации в конец указанного выше URL.
  2. Все файлы (вам нужно sha для основного дерева) https://api.github.com/repos/learningequality/ka-lite/git/trees/7b698a988683b161bdcd48a949b01e2b336b4c01

Надеюсь, это может помочь.

6
задан matt burns 18 January 2019 в 14:27
поделиться

2 ответа

Операции удаления бесплатны. Вы можете создать Политику жизненного цикла для автоматизации массового удаления.

Я бы сначала начал с небольшого количества объектов и проверил отчет о выставлении счетов на 100%, подтвердив, что удаление не будет списано, а затем перешел к остальным.

0
ответ дан Sébastien Stormacq 18 January 2019 в 14:27
поделиться

Если у вас есть список всех доступных объектов, то вы, безусловно, можете использовать действие Multi Delete Object . По-видимому, этот API является бесплатным . Я хотел бы создать конечный автомат AWS Step Functions для циклического перемещения по файлу и удаления 1000 объектов одновременно. 1000, кажется, предел.

Для удаления всех объектов в корзине потребуется около 2 миллионов операций с шаговыми функциями. Согласно ценообразованию для пошаговой функции, это будет стоить вам около 50 долларов + стоимость лямбда-вызовов около 1 доллара, поэтому общая стоимость будет составлять около 51 доллара.

Обновление

Использование лямбда или пошаговых функций, вероятно, не самый экономически эффективный вариант, потому что оба способа вам понадобятся для чтения файла (который содержит ключи объекта) из некоторого источника, например S3. Поэтому я думаю, что запуск сценария с локального компьютера или любого экрана Linux EC2 является лучшим вариантом.

0
ответ дан A.Khan 18 January 2019 в 14:27
поделиться
Другие вопросы по тегам:

Похожие вопросы: