Каков типичный фактор вежливости для поискового робота? Помимо постоянного соблюдения robot.txt И "Disallow:", и нестандартная "Crawl-delay:" Но если сайт не указывает явную задержку сканирования ...