Я знаю, что этот вопрос задавали много раз, но я хочу уточнить.
У меня есть домен разработки, и я переместил сайт туда в подпапку. Допустим, from:
http://www.example.com/
To:
http://www.example.com/backup
Итак, я хочу, чтобы подпапка вообще не индексировалась поисковыми системами. Я поместил robots.txt со следующим содержимым в подпапку (могу ли я положить его в подпапку или он всегда должен быть в корне, потому что я хочу, чтобы содержимое в корне было видно поисковым системам):
User-agent: *
Disallow: /
Возможно, мне нужно заменить его и положить в корень следующее:
User-agent: *
Disallow: /backup
Другое дело, я где-то читал, что некоторые роботы не уважают файл robots.txt, поэтому просто положил бы файл .htaccess в /backup папка делать работу?
Order deny,allow
Deny from all
Есть идеи?