Robots.txt не работает [закрыт]

Закрыто. Этот вопрос не по теме . В настоящее время он не принимает ответы.

Хотите улучшить этот вопрос? Обновите вопрос , чтобы он был по теме для переполнения стека.

Закрыт 7 лет назад .

Я использовал robots.txt, чтобы ограничить одну из папок на моем сайте. В папке находятся сайты в стадии разработки. Google проиндексировал все сайты, которые находятся в стадии тестирования. Поэтому я использовал robots.txt. Я сначала отправил сайт, и robots.txt включен. Теперь статус успеха для www.mysite.com/robots.txt. Но Google все еще перечисляет эти тестовые ссылки. Вот код, который я написал для robots.txt ...

User-agent: *
Disallow: /foldername/

Кто-нибудь может подсказать мне, в чем может быть проблема? Заранее благодарим

robots.txt web-crawler

задан Paul Gregoire 8 September 2010 в 04:00

0 ответов

Другие вопросы по тегам:

robots.txt web-crawler

Robots.txt не работает [закрыт]

0 ответов

Похожие вопросы: