Самый быстрый способ загрузить 3 миллиона объектов из корзины S3

Я пробовал использовать Python + boto + multiprocessing, S3cmd и J3tset, но борюсь со всеми из них.

Любые предложения, возможно, готовый сценарий, который вы использовали, или другой способ, которым я не пользуюсь ' Не знаю?

РЕДАКТИРОВАТЬ:

eventlet + boto - стоящее решение, как упомянуто ниже. Нашел здесь хорошую справочную статью о событиях http: //web.archive. org / web / 20110520140439 / http: //teddziuba.com/2010/02/eventlet-asynchronous-io-for-g.html

Я добавил скрипт python, который сейчас использую ниже.

29
задан Imran 14 August 2012 в 10:03
поделиться