Простой вопрос. Я хочу добавить:
Disallow */*details-print/
По сути, правила блокировки в форме / foo / bar / dynamic-details-print
--- foo и bar в этом примере также могут быть полностью динамическими.
Я думал, что это будет просто, но затем на www.robotstxt.org есть такое сообщение:
Обратите внимание, что подстановка подстановок и регулярное выражение не поддерживаются ни в строках User-agent, ни в Disallow. «*» В поле User-agent - это специальное значение, означающее «любой робот». В частности, у вас не может быть таких строк, как «User-agent: bot », «Disallow: / tmp / *» или «Disallow: * .gif».
Так мы не можем этого сделать? Соблюдают ли его поисковые системы? Но тогда там ' s Файл robots.txt Quora.com:
Disallow: /ajax/
Disallow: /*/log
Disallow: /*/rss
Disallow: /*_POST
Итак, кто прав? Или я неправильно понял текст на robotstxt.org?
Спасибо!