У меня есть папка с 500 входными файлами (общий размер всех файлов составляет ~ 500 [МБ]).
Я хотел бы написать сценарий python
, который выполняет следующие действия:
(1) загружает все входные файлы в память
(2) инициализирует пустой список python
, который позже будет использоваться ... см. пункт (4)
(3) запускает 15 различных (независимых) процессов: каждый из них использует один и тот же ввод данные [из (1)
] - но использует другие алгоритмы для их обработки, что дает разные результаты
(4) Я бы хотел, чтобы все независимые процессы [из шага ] (3)
] для сохранения их вывода в том же списке python
[тот же список, который был инициализирован на шаге (2)
]
После завершения всех 15 процессов их запуск, у меня будет один список Python
, который включает результаты всех 15 независимых процессов.
Мой вопрос: можно ли сделать это эффективно в питоне
? если да, можете ли вы предоставить схему / образец кода, который иллюстрирует, как это сделать?
Примечание №1: Я буду запускать это на мощном многоядерном сервере; поэтому цель здесь - использовать всю вычислительную мощность, разделяя часть памяти { входных данных
, выходного списка
} между всеми независимыми процессами.
Примечание №2: Я работаю в среде Linux