Robots.txt: Is это правило подстановочного знака действительно?

Простой вопрос. Я хочу добавить:

Disallow */*details-print/

По сути, правила блокировки в форме / foo / bar / dynamic-details-print --- foo и bar в этом примере также могут быть полностью динамическими.

Я думал, что это будет просто, но затем на www.robotstxt.org есть такое сообщение:

Обратите внимание, что подстановка подстановок и регулярное выражение не поддерживаются ни в строках User-agent, ни в Disallow. «*» В поле User-agent - это специальное значение, означающее «любой робот». В частности, у вас не может быть таких строк, как «User-agent: bot », «Disallow: / tmp / *» или «Disallow: * .gif».

Так мы не можем этого сделать? Соблюдают ли его поисковые системы? Но тогда там ' s Файл robots.txt Quora.com:

Disallow: /ajax/
Disallow: /*/log
Disallow: /*/rss
Disallow: /*_POST

Итак, кто прав? Или я неправильно понял текст на robotstxt.org?

Спасибо!

7
задан Bartek 28 January 2011 в 21:53
поделиться