У меня проблемы с конвейером scrapy. Моя информация обрабатывается с сайтов нормально, и метод process_item вызывается правильно. Однако методы spider_opened и spider_closed не вызываются.
class MyPipeline(object):
def __init__(self):
log.msg("Initializing Pipeline")
self.conn = None
self.cur = None
def spider_opened(self, spider):
log.msg("Pipeline.spider_opened called", level=log.DEBUG)
def spider_closed(self, spider):
log.msg("Pipeline.spider_closed called", level=log.DEBUG)
def process_item(self, item, spider):
log.msg("Processsing item " + item['title'], level=log.DEBUG)
Сообщения журнала __ init __
и process_item
отображаются в журнале, но сообщения журнала spider_open
и spider_close
- нет.
Мне нужно использовать методы spider_opened и spider_closed, поскольку я хочу использовать их для открытия и закрытия соединения с базой данных, но для них ничего не отображается в журнале.
Если кто-нибудь предлагает что-нибудь, это будет очень полезно.