Перемещение 1 миллиона файлов изображений в Amazon S3

У меня есть веб-сайт для обмена изображениями, на котором более 1 миллиона изображений (~ 150 ГБ). В настоящее время я храню их на жестком диске своего выделенного сервера, но у меня быстро заканчивается место, поэтому я хотел бы перенести их на Amazon S3.

Я пробовал выполнить RSYNC, и это заняло RSYNC в течение дня просто для сканирования и создания списка файлов изображений. Еще через день переноса, он был завершен всего на 7% и замедлил мой сервер до сканирования, поэтому мне пришлось отменить.

Есть ли лучший способ сделать это, например, GZIP их на другой локальный жесткий диск, а затем передать / разархивировать этот единственный файл?

Мне также интересно, имеет ли смысл хранить эти файлы в нескольких подкаталогах или все более миллиона файлов могут быть в одном каталоге?

8
задан makeee 17 January 2011 в 02:26
поделиться