У меня есть проект, который находится в папке под основным доменом, и у меня нет доступа к корню самого домена.
http://mydomain.com/myproject/
Я хочу запретить индексацию в подпапке «запрещено»
http://mydomain.com/myproject/forbidden/
Могу я просто поместить файл robots.txt в папку myproject? Будет ли он прочитан, даже если в корне нет файла robots.txt?
Какой правильный синтаксис для запрета запрещенной папки?
User-agent: *
Disallow: /forbidden/
или
User-agent: *
Disallow: forbidden/