Можно ли контролировать скорость сканирования с помощью robots.txt?

Мы можем указать ботам сканировать или не сканировать наш сайт в robot.txt. С другой стороны, мы можем контролировать скорость сканирования в Google Webmasters (сколько бот Google сканирует сайт). Интересно, можно ли ограничить активность сканера с помощью файла robots.txt

. Я имею в виду принятие ботов для сканирования страниц, но ограничивающее их присутствие по времени, страницам или размеру!

11
задан Gibron 16 October 2011 в 23:04
поделиться