мета превосходят.
Чтобы исключить отдельные страницы из индексов поисковых систем, метатег noindex фактически превосходит robots.txt.
Почему бы не «autocrlf = false?».