Я не хочу, чтобы какие-либо поисковые системы индексировали большую часть моего сайта.
Однако я хочу, чтобы поисковые системы индексировали 2 папки (и их дочерние). Это то, что я настроил, но я не думаю, что это работает, я вижу страницы в Google, которые я хотел скрыть:
Вот мой файл robots.txt
User-agent: *
Allow: /archive/
Allow: /lsic/
User-agent: *
Disallow: /
Как правильно запретить все папки, кроме 2 ?