Динамический robots.txt

Скажем, у меня есть веб-сайт о хостинге сообщества сгенерированное содержание, которое предназначается для очень определенной группы пользователей. Теперь, скажем, в интересах содействия лучшему сообществу я имею вне темы область, где члены сообщества могут отправить или говорить о чем-либо, что они хотят, независимо от основной темы сайта.

Теперь, я хочу, чтобы большая часть содержания была индексирована Google. Существенное исключение вне темы содержание. Каждый поток имеет свою собственную страницу, но все потоки перечислены в той же папке, таким образом, я не могу только исключить поисковые системы из папки где-нибудь. Это должно быть на страницу. Традиционный файл robots.txt стал бы огромным, поэтому как еще я мог выполнить это?

10
задан Joel Coehoorn 19 August 2012 в 20:00
поделиться

3 ответа

Это будет работать на все хорошо ведущие себя поисковые системы, просто добавить его к <head>:

<meta name="robots" content="noindex, nofollow" />
21
ответ дан 3 December 2019 в 18:37
поделиться

При использовании Apache я использовал бы модификацию - переписывают для искажения robots.txt к сценарию, который мог динамично генерировать необходимое содержание.

Править: При использовании IIS Вы могли использовать ISAPIrewrite, чтобы сделать то же.

2
ответ дан 3 December 2019 в 18:37
поделиться

Simlarly к предложению @James Маршалла - в ASP.NET, Вы могли использовать HttpHandler для перенаправления вызовов к robots.txt к сценарию, который генерировал содержание.

0
ответ дан 3 December 2019 в 18:37
поделиться
Другие вопросы по тегам:

Похожие вопросы: