Scrapy CrawlSpider: как получить доступ к элементу на разных уровнях анализа

Я просматриваю веб-сайт (всего два уровня в глубину) и хочу собрать информацию с сайтов на оба уровня. Проблема, с которой я сталкиваюсь, заключается в том, что я хочу заполнить поля одного элемента информацией с обоих уровней. Как мне это сделать?

Я думал иметь список элементов в качестве переменной экземпляра, которая будет доступна всем потокам (поскольку это один и тот же экземпляр паука), и parse_1 заполнит некоторые поля, а parse_2 должен будет проверить правильность перед заполнением соответствующего значения. Этот метод кажется обременительным, и я до сих пор не знаю, как заставить его работать.

Я думаю, что должен быть лучший способ, возможно, каким-то образом передать элемент обратному вызову. Я не знаю, как это сделать с помощью метода Request(). Идеи?

6
задан igaurav 18 October 2014 в 15:03
поделиться