Java синтаксический анализатор robots.txt с подстановочной поддержкой

я ищу синтаксический анализатор robots.txt в Java, который поддерживает тот же правила сопоставления с образцом как Googlebot.

я нашел, что некоторые библиотеки анализируют файлы robots.txt, но ни один из них не поддерживает сопоставление с образцом Googlebot-стиля:

  • Heritrix (существует , нерешенный вопрос на этом предмете)
  • Crawler4j (похож на ту же реализацию как Heritrix)
  • jrobotx

, кто-либо знает о библиотеке Java, которая может сделать это?

7
задан Brent Worden 21 December 2012 в 04:01
поделиться