Звездочка в [закрытом] robots.txt
3 ответа
Чтобы заблокировать файлы определенного типа (например, .gif), используйте следующее:
User-agent: Googlebot
Disallow: /*.gif$
Итак, вы близки. Используйте Disallow: /*.action$ с завершающим "$"
Конечно, это просто то, что предлагает Google: http://www.google.com/support/webmasters/bin/answer.py?hl = ru & answer = 156449
Все боты разные.
7
ответ дан 18 December 2019 в 14:44
поделиться
Спецификация robots.txt не дает возможности включать подстановочные знаки, только начало URI.
Google реализует нестандартные расширения, описанные в их документации (см. Раздел «Создание файла robots.txt вручную» в разделе «Чтобы заблокировать файлы определенного типа»).
6
ответ дан 18 December 2019 в 14:44
поделиться
Я не думаю, что это сработает, вам нужно будет переместить все файлы .action в место, которое вы затем запретите
0
ответ дан 18 December 2019 в 14:44
поделиться
Другие вопросы по тегам: