Framework Scrapy — сервер Scrapyd.
У меня возникла проблема с получением значения jobid внутри паука.
После отправки данных на http://localhost:6800/schedule.jsonответ будет
status = ok
jobid = bc2096406b3011e1a2d0005056c00008
Но мне нужно использовать этот jobid внутри текущего паука во время процесса. Его можно использовать для открытия файла {jobid}.log или по другим динамическим причинам.
class SomeSpider(BaseSpider):
name = "some"
start_urls = ["http://www.example.com/"]
def parse(self, response):
items = []
for val in values:
item = SomeItem()
item['jobid'] = self.jobid # ???!
items.append(item)
return items
Но этот jobid я вижу только после завершения задания :( Спасибо!