Использование Scrapy с аутентифицированным (авторизованным) пользовательским сеансом

В документах Scrapy приведен следующий пример, иллюстрирующий использование аутентифицированный сеанс в Scrapy:

class LoginSpider(BaseSpider):
    name = 'example.com'
    start_urls = ['http://www.example.com/users/login.php']

    def parse(self, response):
        return [FormRequest.from_response(response,
                    formdata={'username': 'john', 'password': 'secret'},
                    callback=self.after_login)]

    def after_login(self, response):
        # check login succeed before going on
        if "authentication failed" in response.body:
            self.log("Login failed", level=log.ERROR)
            return

        # continue scraping with authenticated session...

У меня все работает, и все в порядке. Но мой вопрос : что вам нужно сделать, чтобы продолжить парсинг с аутентифицированным сеансом , как говорится в комментарии последней строки?

56
задан bcattle 31 July 2018 в 00:24
поделиться