Позвольте поисковым ботам проверять свои сайты без идентификаторов сессии

Я считаю, что ваш подход к проблеме не совсем правильный. Вы не должны полагаться на механизм отслеживания сессий для принятия решений о правах доступа, для регистрации вредоносных пользователей, для обнаружения ботов и т.д.

1. Если вы не хотите, чтобы произвольные пользователи имели доступ к определенным страницам, вы должны использовать аутентификацию и авторизацию. Если произвольным пользователям вообще разрешен доступ к странице, они должны иметь возможность делать это без идентификатора сессии (как будто это первая страница, которую они посещают) - таким образом, боты также смогут без проблем крафтить эти страницы.

2. Вредоносные пользователи, скорее всего, смогут обойти отслеживание сеанса, не используя (или подстраивая) куки, рефереры, параметры URL и т.д.. Таким образом, отслеживание сессий не может быть надежно использовано здесь, делайте простое протоколирование любого запроса с указанием его IP-адреса. Позже вы можете проанализировать собранные данные, чтобы обнаружить подозрительную активность, попытаться найти пользователей с несколькими IP и т.д. Такой анализ является сложным и не должен выполняться во время исполнения.

3. Чтобы обнаружить ботов, можно выполнить обратный поиск DNS по собранным IP. Опять же, это можно сделать в автономном режиме, так что производительность не пострадает. В целом, содержание обслуживаемой страницы не должно зависеть от того, является ли посетитель ботом или неаутентифицированным пользователем (поисковые системы справедливо расценивают такое поведение как мошенничество).

Прежде всего: У нас были некоторые проблемы с простым удалением JSESSIONID из ответов известным поисковым системам. В частности, создание новой сессии для каждого запроса вызывало OutOfMemoryErrors (если вы не используете Java, сохранение состояния для тысяч активных сессий, безусловно, является проблемой для большинства или всех серверов/фреймворков). Эта проблема может быть решена путем уменьшения таймаута сессии (только для сессий бота - если это возможно). Так что если вы хотите пойти по этому пути, будьте осторожны. А если пойдете, не нужно делать DNS-поиск. Вы не защищаете здесь ничего ценного (по сравнению, например, с Google's First Click Free). Если кто-то притворяется ботом, это обычно нормально.

Вместо этого я бы предложил продолжать отслеживать сессии (используя параметры URL в качестве запасного варианта для куки) и добавить тег канонической ссылки (, очевидно, без идентификатора сессии) на каждую страницу. См. статью "Заставьте Google игнорировать JSESSIONID" или обширное видео с участием Мэтта Каттса для обсуждения. Добавление этого тега не очень навязчиво и, возможно, в любом случае может считаться хорошей практикой. Так что, по сути, вы останетесь без какой-либо специальной работы с пауками поисковых систем - что, безусловно, хорошо (tm).

Если вас беспокоит спуфинг, значит, вы неправильно обеспечиваете безопасность. Вы не должны давать роботам больше разрешений, чем пользователям, как раз наоборот (поэтому пользователи получают логины, а роботы получают robots.txt ).

Если вы собираетесь предоставить кому-то особые привилегии без аутентификации, это изначально открыто для спуфинга. IP-адреса можно подделать. Связь между сервером и клиентом может быть подделана. И так далее.

Если вы полагаетесь на отслеживающие файлы cookie для анализа вредоносного поведения, вам необходимо это исправить. Должно быть достаточно легко получить хорошее понимание, не требуя от злоумышленника идентифицировать себя.

IP-адреса не являются хорошей заменой для аутентификации, но они достаточно хороши для группировки, если файлы cookie недоступны. Кроме того, в первую очередь вам следует использовать более надежные средства (то есть комбинацию факторов).