Как предоставить доступ поисковых роботов к index.php только, с помощью robots.txt?

Функционально они совпадают с, был сказан. Я соглашаюсь, хотя то выполнение соединения лучше для описания точно, что Вы хотите сделать. Много времен, я думал, что знал, как я хотел запросить что-то, пока я не начал делать соединения и понял, что хотел сделать различный запрос, чем исходный в моей голове.

9
задан MSalters 28 October 2009 в 14:39
поделиться

3 ответа

Да, заработает. Вот результат теста Google Webmaster Tool .

Url
http://www.example.org/index.php

Googlebot
Allowed by line 3: Allow: /index.php

Googlebot-Mobile
Allowed by line 3: Allow: /index.php

Однако помните, что при такой конфигурации ваша домашняя страница сайта не будет сканироваться, если к странице не будет выполнен доступ по полному указанному пути. Другими словами, http://www.example.org/ запрещено, а http://www.example.org/index.php разрешено.

Если вы Чтобы ваша домашняя страница была доступна, вот лучшая версия вашего файла.

User-agent: *
Disallow: /
Allow: /index.php
Allow: /$
20
ответ дан 4 December 2019 в 07:35
поделиться

Отлично Vrapper для Eclipse.

Vrapper - это плагин eclipse, который действует как оболочка для текстовых редакторов eclipse, предоставляя схему ввода, подобную Vim для перемещения и редактирования текста.

В отличие от других плагинов, которые встраивают Vim в Eclipse, Vrapper имитирует поведение Vim, продолжая использовать любой редактор, который вы открыли в рабочей среде. Цель состоит в том, чтобы получить комфорт и простоту, которые связаны с различными режимами, сложными командами и комбинациями счет / оператор / движение, которые являются ключевыми особенностями редактирования с помощью Vim, роботов, если вы хотите разрешить одиночные файлы внутри запрещенного в противном случае каталог необходимо разместить Разрешить сначала директивы, а затем Запретить, например: «

http://en.wikipedia.org/wiki/Robots.txt

Тем не менее, я бы не ожидал, что это будет работать слишком последовательно

3
ответ дан 4 December 2019 в 07:35
поделиться

Для оформления заказа можно использовать инструмент Google Robots . Я бы никогда не стал помещать какие-либо секретные каталоги в файл роботов, поскольку предполагаю, что строка, подобная приведенной ниже, будет как мед для некоторых пауков.

Disallow: /secret
2
ответ дан 4 December 2019 в 07:35
поделиться
Другие вопросы по тегам:

Похожие вопросы: