Написание модульного агрегатора и нормализатора на Perl

Я только что вошел в среду, где у меня гораздо больше свободы выбирать любой подход, который я хочу для проекта (имеется в виду полный доступ к CPAN и отсутствие утверждения модуля комитетом), но я немного оторван от новых горячих моментов, поэтому решил попросить здесь идеи.

Мой проект включает очистку нескольких источников с помощью различные форматы (html, сжатый текст, csv и т. д.), нормализующие и затем обрабатывающие их в каком-то хранилище данных. Вытяжки должны происходить через программируемые интервалы, и я хотел бы сделать серверную часть модульной, чтобы аналогичные источники могли использовать одну и ту же кодовую базу. Он также должен иметь возможность отвечать через Интернет с простым статусом запущенных процессов (ничего особенного). Я подумал, что POE может быть хорошей идеей с несколькими процессами сборщика, подчиняющимися одному мастеру, но есть ли какие-то конкретные модули в POE (или где-то еще), на которые, по мнению кого-то, я должен взглянуть?

7
задан Alaska 17 August 2011 в 18:51
поделиться