Самый быстрый способ обработки больших файлов в Python

У нас есть около 500 ГБ изображений в различных каталогах, которые нам нужно обработать. Каждое изображение имеет размер около 4 МБ, и у нас есть скрипт на Python для обработки каждого изображения по одному (он считывает метаданные и сохраняет их в базе данных).Обработка каждого каталога может занять от 1 до 4 часов в зависимости от размера.

У нас есть в нашем распоряжении четырехъядерный процессор с частотой 2,2 ГГц и 16 ГБ ОЗУ в ОС GNU/Linux. Текущий сценарий использует только один процессор. Как лучше всего использовать преимущества других ядер и ОЗУ для более быстрой обработки изображений? Будет ли запуск нескольких Процессы Python для запуска сценария используют преимущества других ядер?

Другой вариант — использовать что-то вроде Gearman или Beanstalk для передачи работы другим машинам. Я взглянул на многопроцессорную библиотеку, но не знаю, как

11
задан Fred Foo 4 April 2012 в 14:32
поделиться