Многопроцессорность Python: как ограничить количество ожидающих процессов?

При запуске большого количества задач (с большими параметрами) с использованием Pool.apply_async процессы выделяются и переходят в состояние ожидания, при этом количество ожидающих процессов не ограничено. Это может закончиться съеданием всей памяти, как в примере ниже:

import multiprocessing
import numpy as np

def f(a,b):
    return np.linalg.solve(a,b)

def test():

    p = multiprocessing.Pool()
    for _ in range(1000):
        p.apply_async(f, (np.random.rand(1000,1000),np.random.rand(1000)))
    p.close()
    p.join()

if __name__ == '__main__':
    test()

Я ищу способ ограничить очередь ожидания таким образом, чтобы количество ожидающих процессов было ограничено, и Pool.apply_async блокируется, пока очередь ожидания заполнена.

9
задан André Panisson 15 June 2012 в 22:08
поделиться