Как пропустить повтор в скрапе питона

Как указано в комментарии isNaN() и Number.isNaN(), оба проверяют, что значение, которое вы передаете, не равно значению NaN. Ключ здесь состоит в том, что NaN является фактическим значением, а не оцененным результатом, например. "blabla" является String, а значение равно "blabla", что означает, что это не значение "NaN".

Правдоподобное решение будет делать что-то вроде:

Number.isNaN(Number("blabla")); //returns true.
0
задан Rayly Esta 5 March 2019 в 07:55
поделиться

1 ответ

Чтобы продолжить сканирование с того места, на котором вы остановились в предыдущем цикле, необходимо убедиться, что вся необходимая информация сохраняется после цикла. Как написано в документации по scrapy :

Чтобы включить поддержку постоянства, вам просто нужно определить каталог заданий через настройку JOBDIR.

Вы можете добавить эту настройку через файл settings.py:

JOBDIR = 'crawls/somespider-1'

или запустив своего паука следующей командой:

scrapy crawl somespider -s JOBDIR=crawls/somespider-1

предпочитаю первый вариант, так как он позволяет вам легко добавлять больше настроек вашему пауку.

0
ответ дан BreakBB 5 March 2019 в 07:55
поделиться
Другие вопросы по тегам:

Похожие вопросы: