Мы можем указать ботам сканировать или не сканировать наш сайт в robot.txt. С другой стороны, мы можем контролировать скорость сканирования в Google Webmasters (сколько бот Google сканирует сайт). Интересно, можно ли ограничить активность сканера с помощью файла robots.txt
. Я имею в виду принятие ботов для сканирования страниц, но ограничивающее их присутствие по времени, страницам или размеру!