Синтаксический анализатор robots.txt Java

Question

Синтаксический анализатор robots.txt Java

Я хочу знать, как проанализировать robots.txt в Java.

Уже есть ли какой-либо код?

7

java parsing robots.txt

задан djot 7 October 2013 в 10:51

1 ответ

Другие вопросы по тегам:

java parsing robots.txt

Похожие вопросы:

score 5 · Answer 1

Heritrix - это поисковый робот с открытым исходным кодом, написанный на Java. Просматривая их javadoc, я вижу, что у них есть служебный класс Robotstxt для анализа файла robots.txt.