Как предотвратить Googlebot от подавляющего сайта?
Это зависит от Вашего сервера базы данных. Используя MySQL, звоните mysql_insert_id() сразу после Вашего запроса на вставку. Используя PostgreSQL, сначала запросите" select nextval(seq) " на последовательности и включайте ключ в Вашем запросе на вставку.
Запросы для" select max(id) + 1 from tbl" могли перестать работать, если другой запрос вставляет запись одновременно.
4 ответа
- зарегистрируйтесь в инструментах Google для веб-мастеров, подтвердите свой сайт и подавите работу робота Google
- отправьте карту сайта
- прочтите правила Google : (if-Modified-Since HTTP-заголовок)
- используйте robot.txt для ограничения доступа от бота к некоторым частям веб-сайта
- создайте сценарий, который изменяет robot.txt каждые $ [период времени], чтобы убедиться, что бот никогда не сможет просканировать слишком много страниц одновременно, убедившись, что он может просканировать весь контент в целом
Вы можете настроить сканирование вашего сайта с помощью инструментов Google для веб-мастеров. В частности, взгляните на эту страницу: Изменение скорости сканирования Google
Вы также можете ограничить страницы, которые выполняет поиск ботом Google, используя файл robots.txt. Доступна настройка для задержки сканирования , но похоже, что она не соблюдается в Google.
Зарегистрируйте свой сайт с помощью инструментов Google для веб-мастеров, которые позволяют установить, как часто и сколько запросов в секунду робот Google должен пытаться проиндексировать ваш сайт. Инструменты Google для веб-мастеров также могут помочь вам создать файл robots.txt, чтобы снизить нагрузку на ваш сайт
Вы можете настроить скорость сканирования в инструментах Google для веб-мастеров.