как полностью Скрыть веб-сайт от поисковых систем?
Что является лучшим рекомендуемым путем, эй скрывают мой веб-сайт подготовки от поисковых систем, я Погуглил его и нашел, что некоторые говорят, что я должен поместить метатег, и некоторые сказали, что я должен поместить текстовый файл в своем каталоге веб-сайта, я хочу знать стандартный путь.
мой текущий веб-сайт находится в asp.net, в то время как я полагаю, что это должен быть распространенный способ для любого веб-сайта вообще его язык программирования.
7 ответов
Используйте файл robots.txt.
см. здесь http://www.robotstxt.org/robotstxt. html
Действительно простой ответ; паролем защитить его. Если это промежуточный сайт, то он, скорее всего, не предназначен для публичного использования (скорее всего, только для частной аудитории). Пытаться скрыть его от поисковых систем - значит лечить симптом только тогда, когда реальная проблема заключается в том, что вы не закрепили его должным образом.
Помните, что вы не можете скрыть от поисковых систем публичный незащищенный веб-сайт. Вы можете попросить ботов не индексировать его (с помощью robots.txt, о котором говорили мои прекрасные коллеги), и люди, которые пишут ботов, могут решить не индексировать ваш сайт на основании этого, но должен быть хотя бы один человек, который индексирует все то, что люди просят его не индексировать. По крайней мере, один.
Если это большое требование - не пускать автоматические краулеры, то вам может подойти какое-то решение CAPCHA.
Существуют поисковые системы / службы разметки книг, которые не используют robots.txt. Если вы действительно не хотите, чтобы он когда-либо появлялся, я бы предложил использовать капчу только для перехода на сайт.
Как лучше всего скрыть мой тестовый веб-сайт от поисковых систем
Просто: не публиковать его. Если это не сработает, опубликуйте его достаточно долго, чтобы убедиться, что он готов к публикации в прямом эфире, а затем удалите его.
Однако, из всего вышесказанного, возникает более фундаментальный вопрос: «Зачем заботиться?». Если промежуточный сайт действительно должен быть действующим за один шаг до его запуска, то не имеет значения, проиндексирован ли он.
Вы также можете использовать robots.txt вашего сервера:
User-agent: *
Disallow: /
Google's crawler фактически уважает эти настройки.