как разрешить известным поисковым роботам и блокировать спамеров и вредоносных роботов от сканирования веб-сайта asp.net

Как мне настроить мой сайт, чтобы разрешить сканирование от известных роботов такие как google, bing, yahoo, alexa и т. д. и остановить других вредоносных спамеров, роботов

я должен заблокировать определенный IP-адрес? пожалуйста, обсудите все плюсы, минусы Что нужно сделать в web.config или IIS?

Могу ли я сделать это на уровне сервера, если у меня есть vps с корневым доступом?

Спасибо.