Googlebots игнорирование robots.txt? [закрытый]

Возможно, дайте средству проверки Google robots.txt попытку

Google имеет аналитический инструмент для проверки записей robots.txt, читал об этом здесь

Вы могли бы также хотеть проверить IP-адреса роботов "жулика", чтобы видеть, принадлежат ли они действительно Google.

Также я полагаю, что бот спускается по странице и берет первую директиву, которая относится к нему. В Вашем случае Googlebot и Googlebot-Image никогда не видели бы их определенные директивы, потому что они будут уважать "Агент пользователя: *" сначала.

Игнорируйте этот ответ. Я нашел информацию, которая указывает на это на не имение место. Бот должен найти директиву характерной для него и уважать его