Вопросы Теги

Кто-либо заставил любой код C# анализировать robots.txt и оценивать URL против него

Я попытался запустить твой код. Это бежало отлично. Вот вывод на консоль. 

How many numbers would you like to generate? 
(More Numbers = Longer Sort): 17

[303, 394, 315, 436, 196, 212, 629, 139, 666, 519, 4, 182, 36, 108, 129, 490, 174]
[4, 36, 108, 129, 139, 174, 182, 196, 212, 303, 315, 394, 436, 490, 519, 629, 666]

Нет исключений:)

6
задан Jon Limjap 11 March 2009 в 06:00
поделиться

1 ответ

Ненависть, чтобы сказать, что, но просто Google "C# синтаксический анализатор robots.txt" и нажимают первый хит. Это - статья CodeProject о простой поисковой системе, реализованной в C# под названием "Searcharoo", и это содержит класс Searcharoo. Индексатор. RobotsTxt, описанный как:

  1. Проверьте на, и если существующий, загрузите и проанализируйте файл robots.txt на сайте
  2. Предоставьте интерфейс Пауку для проверки каждого URL по правилам robots.txt
8
ответ дан 9 December 2019 в 20:49
поделиться
Другие вопросы по тегам:

Похожие вопросы: