Scrapy - как управлять куки / сессиями

Я немного не понимаю, как файлы cookie работают со Scrapy и как вы управляете этими файлами cookie. .

По сути, это упрощенная версия того, что я пытаюсь сделать: мы видели раздел документации, в котором говорится о мета-опции, которая предотвращает объединение файлов cookie. Что это на самом деле означает? Означает ли это, что у паука, который делает запрос, будет свой собственный cookiejar на всю оставшуюся жизнь?

Если файлы cookie находятся на уровне каждого паука, то как это работает, когда создается несколько пауков? Можно ли сделать так, чтобы только первый генератор запросов порождал новых пауков и удостоверился, что с этого момента только этот паук будет обрабатывать будущие запросы?

Я предполагаю, что мне нужно отключить несколько одновременных запросов ... в противном случае один паук будет выполнять несколько поисков под тем же файлом cookie сеанса, и будущие запросы будут относиться только к последнему выполненному поиску?

Я запутался, любые разъяснения будут очень приняты!


РЕДАКТИРОВАТЬ:

Другие варианты I ' Я только что подумал об управлении файлом cookie сеанса полностью вручную и передаче его от одного запроса к другому.

Я полагаю, это будет означать отключение файлов cookie ... и затем захватить файл cookie сеанса из ответа поиска и передать его в каждый последующий запрос.

Это то, что вам следует делать в этой ситуации?

51
задан Acorn 12 February 2011 в 14:28
поделиться