реализация очереди заданий для Python

Вы, вероятно, захотите посмотреть Очередь многопроцессорной обработки. Включено в Python 2.6, для более ранних версий Python загрузите его в PyPI.

Документация стандартной библиотеки: http://docs.python.org/library/multiprocessing.html На PyPI: http://pypi.python.org/pypi/multiprocessing

Посмотрите на beanstalkd

Также есть "баккер" Сильвена Хеллегуарха, который вы можете найти здесь:

• http://trac.defuze.org/wiki/bucker

Он описывает себя так:

• bucker - это система очередей, которая поддерживает несколько хранилищ для очереди (memcached, на данный момент Amazon SQS) и управляется сообщениями XML, отправляемыми через TCP-соединения между клиентом и сервером очереди.

redqueue? Он реализован во фреймворке python+tornado, говорит по протоколу memcached и опционально постоянен в лог-файлах. В настоящее время он также способен вести себя как beanstalkd, резервный/удаляемый способ в протоколе memcache.

REDQUEUE

Pyres - это клон восстановления, созданный на Python. Resque используется Github в качестве очереди сообщений. Оба используют Redis как серверную часть очереди и предоставляют веб-приложение для мониторинга.

http://binarydud.github.com/pyres/intro.html

Уже год поздно или что-то в этом роде, но это то, что я взломал вместе, чтобы создать очередь процессов, выполняющих их только X-число за раз. http://github.com/goosemo/job_queue