Stormcrawler, индекс состояния и повторное сканирование

Проверьте этот плагин: http://ionicframework.com/docs/native/app-version/

Ссылка Github: https: // github. com / whiteoctober / cordova-plugin-app-version

Сообщите мне, если это сработает для вас. При необходимости может помочь в деталях.

0
задан Julien Nioche 21 March 2019 в 12:03
поделиться

1 ответ

По умолчанию носики ES получают самые старые записи. То, что показывают журналы, не противоречит этому: оно запрашивает записи с датой nextFetchDate ниже 20 марта для осколка № 5.

Фактически, следующую дату следующей даты следует рассматривать как «не ползти до даты D», ничто не проваливается сквозь трещины.

Выполняя запрос к документам в индексе состояния с параметром nextFetchDate старше, чем сегодня, я вижу, что 1,4 миллиона из 2 миллионов URL имеют значение nextFetchDate в прошлом.

да, это нормально.

Было бы неплохо, если бы сканер мог получить URL с самой старой nextFetchDate и начать сканирование там.

это то, что он делает

Как переставить в очередь те URL-адреса, которые были пропущены в их nextFetchDate?

они не пропущены , Они должны быть выбраны носиками

Возможно, проверьте, чтобы количество носиков соответствовало количеству осколков, которые у вас есть в индексе состояния. Каждый экземпляр носика отвечает за осколок, если у вас меньше экземпляров, чем осколков, то эти осколки никогда не будут запрошены.

Изучите журналы для тех конкретных URL, которые должны быть извлечены первыми: отправляются ли они носиками вообще? Для этого вам может понадобиться включить журналы в DEBUG.

0
ответ дан Julien Nioche 21 March 2019 в 12:03
поделиться
Другие вопросы по тегам:

Похожие вопросы: