Python multiprocessing Pool.map вызывает aquire?

У меня есть numpy.array из 640x480 изображений, каждое из которых имеет длину 630 изображений. Таким образом, общий массив составляет 630x480x640. Я хочу создать среднее изображение, а также вычислить стандартное отклонение для каждого пикселя на всех 630 изображениях.

Это легко сделать с помощью

avg_image = numpy.mean(img_array, axis=0)
std_image = numpy.std(img_array, axis=0)

Однако, поскольку я использую это для 50 или около того таких массивов, и у меня 8-ядерная / 16-поточная рабочая станция, я подумал, что стану жадным и распараллелю все с multiprocessing.Pool.

Итак, я сделал следующее:

def chunk_avg_map(chunk):
    #do the processing
    sig_avg = numpy.mean(chunk, axis=0)
    sig_std = numpy.std(chunk, axis=0)
    return([sig_avg, sig_std])

def chunk_avg(img_data):

    #take each row of the image
    chunks = [img_data[:,i,:] for i in range(len(img_data[0]))]

    pool = multiprocessing.Pool()
    result = pool.map(chunk_avg_map, chunks)
    pool.close()
    pool.join()
    return result

Однако я увидел лишь небольшое ускорение. Поместив операторы печати в chunk_avg_map, я смог определить, что одновременно запускаются только один или два процесса, а не 16 (как я и ожидал).

Затем я прогнал свой код через cProfile в iPython:

%prun current_image_anal.main()

Результат показал, что, безусловно, большая часть времени была потрачена на вызовы для получения:

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
     1527  309.755    0.203  309.755    0.203 {built-in method acquire}

Что, как я понимаю, нужно делать с блокировкой, но я не понимаю, почему мой код делает это. У кого-нибудь есть идеи?

[РЕДАКТИРОВАТЬ] В соответствии с запросом, вот работающий сценарий, демонстрирующий проблему. Вы можете профилировать его любыми способами, но когда я это сделал, я обнаружил, что львы часть времени была занята звонками, чтобы получить, а не средним или стандартным, как я бы ожидали.

#!/usr/bin/python
import numpy
import multiprocessing

def main():
    fake_images = numpy.random.randint(0,2**14,(630,480,640))
    chunk_avg(fake_images)

def chunk_avg_map(chunk):
    #do the processing
    sig_avg = numpy.mean(chunk, axis=0)
    sig_std = numpy.std(chunk, axis=0)
    return([sig_avg, sig_std])

def chunk_avg(img_data):

    #take each row of the image
    chunks = [img_data[:,i,:] for i in range(len(img_data[0]))]

    pool = multiprocessing.Pool()
    result = pool.map(chunk_avg_map, chunks)
    pool.close()
    pool.join()
    return result

if __name__ == "__main__":
    main()
12
задан Matthew Lawson 22 September 2010 в 22:16
поделиться