Причина, по которой вы не получаете данные, заключается в том, что вы не yield
из вашего метода parse_moov
. Согласно документация , метод синтаксического анализа должен возвращать итерабельность объектов Request
и / или dicts или Item
. Поэтому добавьте
yield item
в конце вашего метода parse_moov
.
Кроме того, чтобы иметь возможность запускать код, мне пришлось изменить
yield scrapy.Request(link, callback=self.parse_moov, dont_filter=True)
to
yield scrapy.Request(response.urljoin(link), callback=self.parse_moov, dont_filter=True)
в методе parse
, в противном случае я получал ошибки:
ValueError: Missing scheme in request url: /film/monstry-na-kanikulakh-3-more-zovyot-2018-950968/
(Это потому, что конструктор Request
нуждается в абсолютном URL-адресе, пока страница содержит относительные URL-адреса.)