Таблица Calendar для Хранилища данных

Nutch мог бы быть Вашим самым близким соответствием, но это не слишком гибко.

, Если Вам нужно что-то больше, что необходимо будет в значительной степени взломать собственный поисковый робот. Это не настолько плохо, как это звучит, каждый язык имеет веб-библиотеки, таким образом, просто необходимо соединить некоторый диспетчер очереди задачи с загрузчиком HTTP и синтаксический анализатор HTML, это не действительно так много работы. Можно, скорее всего, сойти с рук единственное поле, поскольку проверка является главным образом пропускной-способностью-intentive, не интенсивной ЦП.