У нас есть около 500 ГБ изображений в различных каталогах, которые нам нужно обработать. Каждое изображение имеет размер около 4 МБ, и у нас есть скрипт на Python для обработки каждого изображения по одному (он считывает метаданные и сохраняет их в базе данных).Обработка каждого каталога может занять от 1 до 4 часов в зависимости от размера.
У нас есть в нашем распоряжении четырехъядерный процессор с частотой 2,2 ГГц и 16 ГБ ОЗУ в ОС GNU/Linux. Текущий сценарий использует только один процессор. Как лучше всего использовать преимущества других ядер и ОЗУ для более быстрой обработки изображений? Будет ли запуск нескольких Процессы Python для запуска сценария используют преимущества других ядер?
Другой вариант — использовать что-то вроде Gearman или Beanstalk для передачи работы другим машинам. Я взглянул на многопроцессорную библиотеку, но не знаю, как