Scrapy не возвращает результаты для определенных тегов
Включение / выключение PAE / NX не помогло мне. Мне просто нужно было включить виртуализацию на моем компьютере. Я работал над HP Compaq 8200 и выполнил следующие шаги, чтобы включить виртуализацию. Если вы работаете на другом компьютере, вам, вероятно, просто нужно посмотреть, как включить виртуализацию на вашем компьютере. Ниже приведенные ниже шаги для HP Compaq 8200 (или аналогичных) копируются из комментария, размещенного пользователем qqdmax5 на доске объявлений Hp здесь .
Для запуска виртуальных машин VM VM / VMware на 64-битном хосте необходимо включить технологию виртуализации (VTx) и технологию виртуализации Directed I / O (VTd).
Обычно эти настройки отключены на уровне BIOS.
Чтобы включить VTx и VTd, вы должны изменить соответствующие настройки в BIOS.
Вот пример того, как это сделать это для HP Compaq 8200 или аналогичного ПК:
- Запустите машину.
- Нажмите F10, чтобы войти в BIOS.
- Безопасность-> Безопасность системы
- Включить технологию виртуализации (VTx) и технологию виртуализации Directed I / O (VTd).
- Сохранить и перезагрузить компьютер.
также обсуждается на этом askubuntu .
1 ответ
При загрузке страницы выполняется запрос AJAX.
Если вы откроете веб-инспектор при загрузке страницы, вы увидите запрос AJAX, например:
Если вы нажмете ctrl + f на некоторые идентификаторы, используемые в этом запросе в исходном коде страницы, вы увидите такой код JavaScript, как:
You можно найти этот URL с помощью scrapy и просто отправить запрос:
def parse(self, response):
script = response.xpath("//script[contains(text(), 'getresultsb']")
url = script.re('url:"(.+?)"') # capture between ""
headers = {
'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
'X-Requested-With': 'XMLHttpRequest',
}
yield Request(url,
method='POST',
body='dmn=ok',
callback=self.parse_recent
headers=headers,
)
def parse_recent(self, response):
# parse recent data here