Как использовать CrawlSpider от пестрого для щелчка на ссылку с JavaScript onclick?

Я хочу пестрый проверить страницы, где продолжение к следующей ссылке похоже на это:

<a href="#" onclick="return gotoPage('2');"> Next </a>

Будет пестрый мочь интерпретировать код JavaScript этого?

С livehttpheaders расширением я узнал, что нажимание Далее генерирует POST с действительно огромным куском "мусора", запускающегося как это:

encoded_session_hidden_map=H4sIAAAAAAAAALWZXWwj1RXHJ9n

Я пытаюсь создать своего паука на CrawlSpider класс, но я не могу действительно выяснить, как кодировать его, с BaseSpider Я использовал parse() метод для обработки первого URL, который, оказывается, форма входа в систему, где я сделал POST с:

def logon(self, response):
    login_form_data={ 'email': 'user@example.com', 'password': 'mypass22', 'action': 'sign-in' }
    return [FormRequest.from_response(response, formnumber=0, formdata=login_form_data, callback=self.submit_next)]

И затем я определил submit_next () для сообщения, что сделать затем. Я не могу выяснить, как я говорю CrawlSpider который метод использовать на первом URL?

Все запросы в моей проверке, кроме первой, являются запросами POST. Они чередуют два типа запросов: вставка некоторых данных и нажатие на "Next" для движения в следующую страницу.