0
ответов
Как запретить поисковым системам индексировать все URL-адреса, начинающиеся с origin.domainname.com
У меня www.domainname .com, origin.domainname.com, указывающий на ту же кодовую базу. Есть ли способ предотвратить индексирование всех URL-адресов с базовым именем origin.domainname.com. Есть ли какое-то правило в ...
вопрос задан: 5 October 2010 06:18
0
ответов
Идеи BOT / Spider Trap
У меня есть клиент, домен которого, похоже, сильно пострадал от того, что выглядит как DDoS. В журналах это нормально выглядящие пользовательские агенты со случайными IP-адресами, но они слишком быстро листают страницы ...
вопрос задан: 29 September 2010 21:06
0
ответов
robots.txt; В какой кодировке?
Я собираюсь создать файл robots.txt. Я использую блокнот. Как мне сохранить файл? UTF8, ANSI или что? Кроме того, должна ли это быть заглавная буква R? И в файле Я указываю расположение карты сайта. ...
вопрос задан: 29 September 2010 05:20
0
ответов
Robots.txt не работает [закрыт]
Я использовал robots.txt для ограничения одной из папок на моем сайте. В папке находятся сайты в стадии разработки. Google проиндексировал все сайты, которые находятся в стадии тестирования. Так что я использовал ...
вопрос задан: 8 September 2010 04:00
0
ответов
Robots.txt Запретить определенные имена папок
Я хочу запретить роботам сканировать любую папку в любой позиции в URL с именем: this-folder. Примеры для запрещения: http://mysite.com/this-folder/
http://mysite.com/houses/this-folder/
...
вопрос задан: 17 August 2010 11:48