У кого-либо есть некоторая идея относительно того, каким образом вопросы, отправленные здесь на ТАК, обнаруживаются так быстро на Google?.
Иногда отправленные вопросы появляются как первые 10 записей или так - на первой странице в течение 30 минут после представления вопроса. Молитесь говорят, каким волшебством владеют здесь?
У кого-либо есть некоторые идеи, предложения?. Моя первая мысль - то, что у них есть информация в их карте сайта, которая говорит роботам Google тралить каждый, минуты N или так - являются этим, что продолжается?
BTW, я знаю, что, просто давая Googlebots команду просканировать Ваш сайт каждый минуты N не будут работать, если у Вас не будет информации о качестве (который постоянно обновляется на Вашем сайте).
Я был бы точно так же, как, чтобы знать, существует ли что-то еще, что ТАК может делать правильно (кроме чудесного содержания, конечно)
Проще говоря, более популярные сайты с более качественным контентом и более частыми изменениями ранжируются алгоритмом Google выше, индексируются и кэшируются чаще, чем сайты, которые менее популярны или меняются реже.
Кроме того, SO, предоставляя RSS-канал, я думаю, Google любит каналы из надежных источников.
Вообще говоря, это делает только контент. Размер и качество контента достигли порога Google для «паука настолько быстро, насколько позволяет сайт». SO должен активно ограничивать работу робота Googlebot; Джефф сказал на Coding Horror, что они получали более 50 000 запросов в день от Google, и это было больше года назад.
Если вы просканируете не новостные сайты из топ-500 Alexa, вы обнаружите, что практически все они имеют результаты в Google, которым всего несколько минут. (например, введите site: archive.org в Google и выберите «Последние» в меню слева)
Таким образом, вы ничего не можете сделать с вашим собственным сайтом для ускорения работы с пауками, кроме как увеличить объем трафика на ваш сайт ...
Это действительно просто.
SO - это сайт с рейтингом PageRank 6, который дает миру новую информацию.
Google сильно предвзято относится к новой информации. Он будет сканировать сайт много раз в день и сразу же добавит страницы в свой индекс. Он будет отдавать предпочтение странице (первая 10), чтобы сказать конкретный запрос в течение небольшого периода времени (несколько дней), а затем он перестанет отдавать предпочтение этой странице и оценит ее как обычно.
Это стандартная процедура G, которая применяется на многих сайтах.
Как вы могли догадаться, поисковая оптимизация Grayhat / Blackhat использует этот факт во многих смыслах.