Кажется, я не могу заставить это работать но это кажется действительно простым.
Я хочу, чтобы сканировался корень домена
http://www.example.com
Но сканировать больше ничего не нужно, и все подкаталоги являются динамическими
http://www.example.com/*
Я пробовал
User-agent: *
Allow: /
Disallow: /*/
, но инструмент проверки веб-мастеров Google говорит, что все подкаталоги разрешены .
У кого-нибудь есть решение для этого? Спасибо :)