У меня есть паук, который я написал, используя фреймворк Scrapy. У меня возникли проблемы с тем, чтобы заставить работать все трубопроводы. У меня есть следующий код в моем pipelines.py:
class FilePipeline(object):
def __init__(self):
self.file = open('items.txt', 'wb')
def process_item(self, item, spider):
line = item['title'] + '\n'
self.file.write(line)
return item
и мой подкласс CrawlSpider имеет эту строку для активации конвейера для этого класса.
ITEM_PIPELINES = [
'event.pipelines.FilePipeline'
]
Однако когда я запускаю его, используя
scrapy crawl my_spider
я получаю строку, которая говорит
2010-11-03 20:24:06+0000 [scrapy] DEBUG: Enabled item pipelines:
без трубопроводов (я предполагаю, что это место, где логи должны выводить их).
Я пытался просмотреть документацию, но там, похоже, нет полных примеров всего проекта, чтобы понять, не упустил ли я чего-нибудь.
Есть предложения, что делать дальше? Или где искать дополнительную документацию?