Как запретить поисковым системам сканировать весь сайт?

Я хочу, чтобы поисковые системы не сканировали весь мой веб-сайт.

У меня есть веб-приложение, которым могут пользоваться сотрудники компании. Он размещен на веб-сервере, поэтому сотрудники компании могут получить к нему доступ. Никому другому (общественности) это не понадобится и не будет полезно.

Итак, я хочу добавить еще один уровень безопасности (в теории), чтобы попытаться предотвратить несанкционированный доступ, полностью исключив доступ к нему для всех роботов / сканеров поисковых систем.Индексировать наш сайт в Google, чтобы сделать его доступным для поиска, бессмысленно с точки зрения бизнеса и просто добавляет хакеру еще один способ найти сайт, чтобы попытаться взломать его.

Я знаю, что в robots.txt вы можете указать поисковым системам не сканировать определенные каталоги.

Можно ли запретить ботам сканировать весь сайт без необходимости перечислять все каталоги, которые не сканировать?

Лучше всего это сделать с помощью robots.txt или лучше сделать это с помощью. htaccess или другой?