Вы можете указать количество работников при создании пула.
with Pool(5) as p:
p.map(func, list)
p.close()
p.join()
Обратите внимание, что он не будет работать с теми же 5 файлами одновременно и переместится к следующим 5 файлам по порядку. Но он создает очередь с 5 работниками, и когда работник готов, начинается другой. Это гарантирует, что за один раз будут обрабатываться только 5 файлов.
Ух ты, это будет быстро ...
Этот документ показывает именно то, что я искал, надеюсь, он когда-нибудь поможет :)