Заблокировать всех ботов/сканеров/пауков для специального каталога с помощью htaccess

Я пытаюсь заблокировать всех ботов/сканеров/пауков для специального каталога. Как я могу сделать это с помощью htaccess? Я немного поискал и нашел решение путем блокировки на основе пользовательского агента:

RewriteCond %{HTTP_USER_AGENT} googlebot

Теперь мне нужно больше пользовательских агентов (для всех известных ботов), и правило должно действовать только для моего отдельного каталога. У меня уже есть robots.txt, но не все поисковые роботы его просматривают... Блокировка по IP-адресу не вариант. Или есть другие решения? Я знаю защиту паролем, но я должен сначала спросить, будет ли это вариант. Тем не менее, я ищу решение, основанное на пользовательском агенте.