Какие методы я могу использовать для обнаружения роботов?

Тот факт, что программное обеспечение автоматизировано, не означает, что оно будет соблюдать ваш robots.txt. Какие методы доступны для обнаружения, когда кто-то сканирует ваш сайт или выполняет DDOS-атаки? Предположим, на вашем сайте 100 из 1000 страниц, и его стоит просканировать или выполнить DDOS.

Вот глупая идея, которая, вероятно, не работает: дать каждому пользователю cookie с уникальным значением и использовать cookie, чтобы знать, когда кто-то делает второй / третий / и т.д. запросы. Вероятно, это не сработает, потому что поисковые роботы, вероятно, не принимают файлы cookie, и поэтому в этой схеме робот будет выглядеть как новый пользователь с каждым запросом.

Есть ли у кого-нибудь лучшие идеи?