Я пишу сценарий python, который будет быстро анализировать файл, отправляя строки для обработки в разные процессы. В конце я хочу, чтобы родитель получал результаты от каждого дочернего процесса, а затем мог ими управлять. Вот код:
#!/usr/bin/env python
import os
import re
from datetime import datetime
from multiprocessing import Process, JoinableQueue
class LineConsumer(Process):
def __init__(self, queue):
self.queue = queue
self.lines = 0
super(LineConsumer, self).__init__( )
def run(self):
print "My PID is %d" % self.pid
while True:
line = self.queue.get( )
print self.lines
if ':' in line:
self.lines += 1
self.queue.task_done( )
class Parser(object):
def __init__(self, filename, processes=4):
self.filename = filename
self.processes = processes
def parse(self):
queue = JoinableQueue(100)
consumers = [ ]
parents = [ ]
for i in range(0, self.processes):
lc = LineConsumer(queue)
lc.start( )
consumers.append(lc)
starttime = datetime.now( )
problem = False
numlines = 0
with open(self.filename, 'r') as data:
for line in data:
numlines += 1
def checkAlive(p):
if not p.is_alive( ):
return False
return True
alive = map(checkAlive, consumers)
if False in alive:
problem = True
print "A process died!!!"
break
queue.put(line)
if not problem:
queue.join( )
for p in consumers:
print p.lines( )
p.terminate( )
p.join( )
endtime = datetime.now( )
timedelta = endtime - starttime
lps = numlines / timedelta.total_seconds( )
print "Processed packets at %f lps" % lps
if __name__ == "__main__":
import sys
if len(sys.argv) != 2:
print "Supply a file to read"
sys.exit(1)
parser = Parser(sys.argv[1])
parser.parse( )
Вот результаты:
My PID is 11578
My PID is 11579
My PID is 11580
My PID is 11581
0
1
0
2
1
3
2
1
...
555
627
564
556
628
0
0
0
0
Processed packets at 27189.771341 lps
Как видите, каждый дочерний элемент может сохранить свое количество строк, но когда я пытаюсь получить доступ к счетчику от родителя, я продолжаю получать 0. Как я могу отправить счетчик строк до родительского?