Мета-тег против robots.txt

Надеюсь, это поможет некоторым, как в вашем случае, я пострадал с той же проблемой, и просто использовал localstorage для обмена данными между родительским окном и iframe. Поэтому в родительском окне вы можете:

localStorage.setItem("url", myUrl);

И в коде, где источник iframe просто получает эти данные из localstorage:

localStorage.getItem('url');

Сэкономил мне много времени. Насколько я вижу, единственным условием является доступ к исходному коду страницы. Надеюсь, это поможет кому-то.

23
задан Mitch Dempsey 27 July 2010 в 21:50
поделиться

10 ответов

Robots.txt ИМХО.

Опция метатега говорит ботам не индексировать отдельные файлы, тогда как Robots.txt может использоваться для ограничения доступа ко всем каталогам.

Конечно, используйте метатег, если у вас есть нечетная страница в проиндексированных папках, которую вы хотите пропустить, но в целом я бы порекомендовал вам большую часть вашего неиндексированного контента в одной или нескольких папках и используйте robots.txt для пропуска много.

Нет, нет проблем в использовании обоих - если есть столкновение, в общих чертах, отрицание отменяет разрешение .

2
ответ дан CJM 27 July 2010 в 21:50
поделиться

Существует огромная разница между meta robot и robots.txt.

В robots.txt мы спрашиваем сканеры, какую страницу вы должны сканировать, а какую - исключить, но мы не просим сканер не индексировать эти исключенные страницы из сканирования.

Но если мы используем мета-теги роботов, мы можем попросить сканеры поисковых систем не индексировать эту страницу. Для этого нужно использовать тег:

< #meta name = "имя робота", контент = "noindex"> (удалить #)

ИЛИ

< #meta name = "имя робота", content = "follow, noindex"> (удалить #)

Во втором метатеге я попросил робота следовать этому URL, но не индексировать в поисковой системе.

1
ответ дан Abhishek Kaushik 27 July 2010 в 21:50
поделиться

Есть одно существенное отличие. Согласно Google они по-прежнему будут индексировать страницу за robots.txt DENY, если страница связана с другим сайтом.

Однако, они не увидят метатег:

Хотя Google не будет сканировать или индексировать контент, заблокированный robots.txt, мы все равно можем найти и проиндексировать запрещенный URL из других мест в Интернете. В результате URL-адрес и, возможно, другая общедоступная информация, такая как якорный текст в ссылках на сайт, все еще могут появляться в результатах поиска Google. Вы можете полностью запретить отображение своего URL в результатах поиска Google с помощью других методов блокировки URL, таких как защита паролем файлов на вашем сервере или с помощью метатега noindex или заголовка ответа .

41
ответ дан Andy 27 July 2010 в 21:50
поделиться

Оба поддерживаются всеми сканерами, которые уважают пожелания веб-мастеров. Не все делают, но против них ни техника не достаточна.

Вы можете использовать правила robots.txt для общих целей, например запретить целые разделы вашего сайта. Если вы говорите Disallow: /family, то все ссылки, начинающиеся с /family, не индексируются сканером.

Метатег можно использовать для запрета одной страницы. Страницы, запрещенные метатегами, не влияют на подстраницы в иерархии страниц. Если у вас есть мета-тег запрещения /work, это не мешает сканеру получить доступ к /work/my-publications, если на разрешенной странице есть ссылка на него.

4
ответ дан jmz 27 July 2010 в 21:50
поделиться

Я бы, вероятно, использовал robots.txt поверх тега meta. Robots.txt существует дольше и может быть более широко поддержан (но я не уверен на 100% в этом).

Что касается второй части, я думаю, что большинство пауков примут любой наиболее ограничивающий параметр для страницы - если есть несоответствие между robots.txt и метатегом.

0
ответ дан Mitch Dempsey 27 July 2010 в 21:50
поделиться
1110 Вот мои знания о них. Я говорю об их рабочей области. Оба мы можем использовать для блокировки контента.

Разница между ними заключается в следующем:

  • Мета-робот может блокировать одну страницу с помощью некоторого фрагмента кода, вставленного в заголовок веб-сайта. Используя метатег, мы сообщаем поисковику, для какой функции мы используем метатег.
  • В файле Robots.txt вы можете заблокировать весь сайт.

Вот пример мета-робота:

<meta name="robots" content="index, follow"> 
<meta name="robots" CONTENT="all">
<meta name="robots" content="noindex, follow">
<meta name="robots" content="noindex, nofollow">
<meta name="robots" content="index, nofollow" />
<meta name="robots" content="noindex, nofollow" />

Вот пример файла Robots.txt:

Разрешить сканерам сканировать все веб-сайты

user-agent: *
Allow:
Disallow:

Запретить сканерам сканировать все веб-сайты

user-agent: *
Allow:
Disallow:/
1
ответ дан Hille 27 July 2010 в 21:50
поделиться

Robots.txt подходит для страниц, которые потребляют много вашего бюджета сканирования, таких как внутренний поиск или фильтры с бесконечной комбинацией. Если вы разрешите Google индексировать yoursite.com/search=lalalala, это приведет к напрасной трате бюджета.

0
ответ дан takendarkk 27 July 2010 в 21:50
поделиться

мета превосходят.

Чтобы исключить отдельные страницы из индексов поисковых систем, метатег noindex фактически превосходит robots.txt.

0
ответ дан user2513846 27 July 2010 в 21:50
поделиться

Вы хотите использовать «noindex, follow» в метатеге роботов , а не robots.txt, потому что это позволит пропускать сок ссылок. Это лучше с точки зрения SEO.

0
ответ дан Jérôme Verstrynge 27 July 2010 в 21:50
поделиться

У вас может быть любой, но если на вашем веб-сайте много веб-страниц, robots.txt прост и уменьшает временную сложность

-1
ответ дан James Andreson 27 July 2010 в 21:50
поделиться
Другие вопросы по тегам:

Похожие вопросы: