Как я могу обработать xml асинхронно в Python?

Я не слишком уверен в этой проблеме. Я предполагаю, что звонок для Parsefile - блокировка, и только поток разборки запускается из-за GIL. Способ этого будет использовать многопроцессорное вместо этого. В любом случае, он предназначен для работы с очередями.

Вы делаете процесс , и вы можете пройти через его очередь :

import sys, time
import xml.parsers.expat
import multiprocessing
import Queue

def do_expat(q):
    p = xml.parsers.expat.ParserCreate()

    def start_handler(name, attrs):
        q.put(name)

    p.StartElementHandler = start_handler
    p.buffer_text = True
    print("opening {0}".format(sys.argv[1]))
    with open(sys.argv[1]) as f:
        print("file is open")
        p.ParseFile(f)
        print("parsing complete")

if __name__ == '__main__':
    q = multiprocessing.Queue()
    process = multiprocessing.Process(target=do_expat, args=(q,))
    process.start()

    elements = []
    while True:
        while True:
            try:
                elements.append(q.get_nowait())
            except Queue.Empty:
                break

        print elements
        time.sleep(1)

Я включил список элементов, просто для репликации вашего исходного скрипта. Ваше окончательное решение, вероятно, будет использовать get_nowait и пул или что-то подобное.

Единственное, что я вижу, неправильно, это то, что вы получаете доступ Q одновременно из разных потоков - без блокировки, как вы пишете. Это просит неприятностей - и вы, вероятно, получаете проблемы в виде переводчика Python, блокируя на вас. :)

Попробуйте заблокировать, это действительно не очень сложно:

import sys, time
import xml.parsers.expat
import threading

q = []
q_lock = threading.Lock() <---

def start_handler(name, attrs):
    q_lock.acquire() <---
    q.append(name)
    q_lock.release() <---

def do_expat():
    p = xml.parsers.expat.ParserCreate()
    p.StartElementHandler = start_handler
    p.buffer_text = True
    print("opening {0}".format(sys.argv[1]))
    with open(sys.argv[1]) as f:
        print("file is open")
        p.ParseFile(f)
        print("parsing complete")


t = threading.Thread(group=None, target=do_expat)
t.start()

while True:
    q_lock.acquire() <---
    print(q)
    q_lock.release() <---
    time.sleep(1)

Видите ли, это было действительно просто, мы только что создали переменную блокировки, чтобы охранять наш объект, и приобрести этот замок каждый раз, прежде чем использовать объект и выпустить каждый раз Время после того, как мы закончили нашу задачу на объекте. Таким образом, мы гарантировали, что Q.append (имя) никогда не перекрываются с помощью Print (Q) .

(с более новыми версиями Python также есть также «с ...» синтаксисом, который поможет вам не отпустить блокировки или закрывать файлы или другие очистки, которые часто забывают.)

Я не знаю много о реализации, но если анализ C код, который выполняется до завершения, другие потоки Python не будут работать. Если парсер вызывает обратно в код Python, GIL может быть освобожден для других потоков, но я не уверен в этом. Вы можете проверить эти детали.