Вопрос о многопроцессорной обработке Python?

У меня есть папка с 500 входными файлами (общий размер всех файлов составляет ~ 500 [МБ]).

Я хотел бы написать сценарий python , который выполняет следующие действия:

(1) загружает все входные файлы в память

(2) инициализирует пустой список python , который позже будет использоваться ... см. пункт (4)

(3) запускает 15 различных (независимых) процессов: каждый из них использует один и тот же ввод данные [из (1) ] - но использует другие алгоритмы для их обработки, что дает разные результаты

(4) Я бы хотел, чтобы все независимые процессы [из шага ] (3) ] для сохранения их вывода в том же списке python [тот же список, который был инициализирован на шаге (2) ]

После завершения всех 15 процессов их запуск, у меня будет один список Python , который включает результаты всех 15 независимых процессов.

Мой вопрос: можно ли сделать это эффективно в питоне ? если да, можете ли вы предоставить схему / образец кода, который иллюстрирует, как это сделать?

Примечание №1: Я буду запускать это на мощном многоядерном сервере; поэтому цель здесь - использовать всю вычислительную мощность, разделяя часть памяти { входных данных , выходного списка } между всеми независимыми процессами.

Примечание №2: Я работаю в среде Linux

5
задан Michael Dillon 1 July 2011 в 01:29
поделиться