Отрицайте, что боты загружают мои файлы
У меня есть страница загрузки asp.net, которые отправляют файл клиенту, но я хочу отклонить загрузку роботов этот файл, потому что файл является большим и как я вижу от записей, бот загружает этот файл приблизительно 20 раз. Это замедляет сервер и вызывает потребление пропускной способности.
Я кодировал эту страницу, чтобы считать загрузки и обнаружить платформу .NET клиента, таким образом, я могу отправить файл настройки, содержащий платформу .NET или нет.
Я должен так или иначе отрицать, что Google и другие боты достигают этой страницы.
Моя ссылка на загрузку похожа на download.aspx? pack=msp
4 ответа
Да, добавьте файл robots.txt на свой сайт. Он должен содержать список правил (на самом деле - предложений), как должны вести себя пауки.
Посмотрите эту статью для получения дополнительной информации. Также для интереса, это - файл robot.txt, используемый Google.
Вам нужен файл robots.txt. Например:
User-agent: *
Disallow: /download.aspx
Это не блокирует поисковые системы принудительно, но большинство (включая Google) будут проверять наличие файла robots.txt и следовать его инструкциям
.. Правильный ответ, как отметили два других человека, - создать файл robots.txt, чтобы сделать корректно работающим роботы ничего не скачивают.
Однако важно знать, что не все роботы ведут себя хорошо, и что файл robots.txt носит рекомендательный характер. Если у вас есть страницы, на которые нет общедоступных ссылок, не указывайте их в robots.txt, чтобы «защитить» их, так как некоторые роботы с особенно плохим поведением фактически сканируют файл, чтобы увидеть, какие могут быть интересные URL-адреса, о которых они еще не знают. .
Вместо файла robots.txt, где это невозможно, вы можете украсить свои страницы тегом .
Опять же, как упомянул Донни, это просто рекомендация для ботов и следовать ей не требуется.
Внедрите метод CAPTCHA, который обеспечивает механизм входа, позволяющий желаемым пользователям получить доступ к защищенной папке, в которой хранятся ваши самые большие файлы.
Вместо того чтобы предоставлять прямые ссылки на контент, который легко разбирается боты, используйте Javascript в ссылке на скачивание, чтобы перенаправить ваших пользователей. Многие боты не выполняют javascript, хотя обфускация ботов является часто является движущейся целью.