Как я запрещаю определенную страницу из robots.txt

Я создаю две страницы на своем сайте, которые очень похожи, но служат различным целям. Быть благодарен за то, что пользователи оставляют комментарий, и другой должен поощрить пользователей подписываться.

Я не хочу дублирующееся содержание, но я действительно хочу, чтобы страницы были доступны. Я могу установить карту сайта для сокрытия той? Я сделал бы это в файле robots.txt?

Запрещение похоже на это:

Запретите:/wp-admin

Как был бы я настраивать к определенная страница как:

http://sweatingthebigstuff.com/thank-you-for-commenting

24
задан Daniel 15 August 2010 в 06:29
поделиться

1 ответ

Disallow: /thank-you-for-commenting

в robots.txt

Взгляните на last.fm файл robots.txt для вдохновения.

44
ответ дан 28 November 2019 в 23:05
поделиться