Войдите в диалоговое окно для клиентского приложения Windows

Есть одно существенное отличие. Согласно Google они по-прежнему будут индексировать страницу за robots.txt DENY, если страница связана с другим сайтом.

Однако, они не увидят метатег:

Хотя Google не будет сканировать или индексировать контент, заблокированный robots.txt, мы все равно можем найти и проиндексировать запрещенный URL из других мест в Интернете. В результате URL-адрес и, возможно, другая общедоступная информация, такая как якорный текст в ссылках на сайт, все еще могут появляться в результатах поиска Google. Вы можете полностью запретить отображение своего URL в результатах поиска Google с помощью других методов блокировки URL, таких как защита паролем файлов на вашем сервере или с помощью метатега noindex или заголовка ответа .