Является ли Erlang правильным выбором для веб-краулера?

Я планирую написать веб-краулер для проекта НЛП, который будет читать структуру потоков форума каждый раз в определенный интервал и анализировать каждый поток с новым содержанием. С помощью регулярных выражений извлекаются автор, дата и содержание новых сообщений. Затем результат сохраняется в базе данных.

Язык и платформа, используемые для поискового робота, должны соответствовать следующим критериям:

  • легко масштабируется на несколько ядер и ЦП
  • подходит для высоких нагрузок ввода-вывода
  • быстрое сопоставление регулярных выражений
  • легко для поддерживать / немного накладных расходов

После некоторого исследования я думаю, что Erlang может быть подходящим кандидатом, но я читал, что он не очень хорош при обработке строк (и, следовательно, сопоставлении регулярных выражений). Также у меня нет опыта в отношении фактора обслуживания.

Подходит ли Erlang для описанного выше сценария? А если нет, то что было бы хорошей альтернативой?

12
задан Thomas 5 February 2012 в 19:17
поделиться