Почему Yahoo Индексирует Bot, которого рассматривают как “зло”?

После чтения и комментария этого вопроса Библиотека PHP для Хранения Вашего сайта индексирует Google, Bing, и т.д., мне было любопытно посмотреть на карту сайта StackOverFlow. Это возвратило 404 ошибки, которые я предполагаю, просто защищенная страница путем определения, ли Ваш Индексный Бот, или просто не делает существует.

Это затем приводит меня смотреть на robots.txt для StackOverFlow. Я был удивлен видеть, что комментарий "бот Yahoo является злым" наряду с парой других ботов Индексации (Spinn3r и KSCrawler). Я - unfamilular с Spinn3r и KSCrawler, но мой вопрос, почему эти боты (конкретный Yahoo) рассмотрены как зло? Конечно, кто-либо и вся индексация какой-либо Поисковой системы - хорошая вещь?