Googlebot, не уважая [закрытый] Robots.txt
Кажется, что установка enforce в true делает свою работу (но я не совсем уверен, почему).
Это должно быть так:
utilities: {
test: /\.s?js$/,
minChunks: 2,
name: "utilities",
chunks: "all",
priority: 0,
enforce: true
}
Отныне utilities.js создается не только в режиме разработки, но и в производстве.
4 ответа
Причина, почему они проигнорированы, состоит в том, что у Вас есть полностью определенный URL в robots.txt файл для Disallow записи, в то время как спецификация не позволяет его. (Необходимо только указать относительные пути или использование полных путей/). Попробуйте следующее:
Sitemap: /sitemap_index.xml
User-agent: Mediapartners-Google
Disallow: /scripts
User-agent: *
Disallow: /scripts
# list of articles given by the Content group
Disallow: /Living/books/book-review-not-stupid.aspx
Disallow: /Living/books/book-review-running-through-roadblocks-inspirational-stories-of-twenty-courageous-athletic-warriors.aspx
Disallow: /Living/sportsandrecreation/book-review-running-through-roadblocks-inspirational-stories-of-twenty-courageous-athletic-warriors.aspx
Что касается кэширования, Google пытается получить копию файла robots.txt каждые 24 часа в среднем.
Это - абсолютные URL. robots.txt, как только предполагается, включает относительный URIs; домен выведен на основе домена, от которого получили доступ к robots.txt.
Это произошло, по крайней мере, в течение недели, и Google говорит, что это было в последний раз загружено 3 часа назад, таким образом, я уверен, что это является недавним.
Разве Вы недавно внесли это изменение в свой файл robots.txt? По моему опыту, кажется, что кэши Google, которые наполняют в течение действительно долгого времени.