У меня есть numpy.array из 640x480 изображений, каждое из которых имеет длину 630 изображений. Таким образом, общий массив составляет 630x480x640. Я хочу создать среднее изображение, а также вычислить стандартное отклонение для каждого пикселя на всех 630 изображениях.
Это легко сделать с помощью
avg_image = numpy.mean(img_array, axis=0)
std_image = numpy.std(img_array, axis=0)
Однако, поскольку я использую это для 50 или около того таких массивов, и у меня 8-ядерная / 16-поточная рабочая станция, я подумал, что стану жадным и распараллелю все с multiprocessing.Pool.
Итак, я сделал следующее:
def chunk_avg_map(chunk):
#do the processing
sig_avg = numpy.mean(chunk, axis=0)
sig_std = numpy.std(chunk, axis=0)
return([sig_avg, sig_std])
def chunk_avg(img_data):
#take each row of the image
chunks = [img_data[:,i,:] for i in range(len(img_data[0]))]
pool = multiprocessing.Pool()
result = pool.map(chunk_avg_map, chunks)
pool.close()
pool.join()
return result
Однако я увидел лишь небольшое ускорение. Поместив операторы печати в chunk_avg_map, я смог определить, что одновременно запускаются только один или два процесса, а не 16 (как я и ожидал).
Затем я прогнал свой код через cProfile в iPython:
%prun current_image_anal.main()
Результат показал, что, безусловно, большая часть времени была потрачена на вызовы для получения:
ncalls tottime percall cumtime percall filename:lineno(function)
1527 309.755 0.203 309.755 0.203 {built-in method acquire}
Что, как я понимаю, нужно делать с блокировкой, но я не понимаю, почему мой код делает это. У кого-нибудь есть идеи?
[РЕДАКТИРОВАТЬ] В соответствии с запросом, вот работающий сценарий, демонстрирующий проблему. Вы можете профилировать его любыми способами, но когда я это сделал, я обнаружил, что львы часть времени была занята звонками, чтобы получить, а не средним или стандартным, как я бы ожидали.
#!/usr/bin/python
import numpy
import multiprocessing
def main():
fake_images = numpy.random.randint(0,2**14,(630,480,640))
chunk_avg(fake_images)
def chunk_avg_map(chunk):
#do the processing
sig_avg = numpy.mean(chunk, axis=0)
sig_std = numpy.std(chunk, axis=0)
return([sig_avg, sig_std])
def chunk_avg(img_data):
#take each row of the image
chunks = [img_data[:,i,:] for i in range(len(img_data[0]))]
pool = multiprocessing.Pool()
result = pool.map(chunk_avg_map, chunks)
pool.close()
pool.join()
return result
if __name__ == "__main__":
main()