Scrapy Crawler для рекурсивного разбора данных не может перезвонить
Когда я использую
blockquote>docker compose, он отлично выполняет приложение, однако, когда я используюdocker run, ничего не происходитЭто кажется ожидаемым, поскольку
docker runбудет запускать одно изображение . В отличие отdocker compose, который будет запускать приложение-доклер multi-container .Для всех изображений для запуска, начиная с правильного порядка, чтобы все могло случиться.
2 ответа
Вместо использования Selenium выясните, какой запрос выполняет веб-сайт с использованием JavaScript (во время навигации перейдите на вкладку «Сеть» инструментов разработчика вашего браузера) и воспроизведите аналогичный запрос.
Веб-сайт использует JSON-запросы для извлечения элементов, которые гораздо проще анализировать, чем HTML.
Кроме того, если вы не знакомы с асинхронной природой Scrapy, вы, вероятно, получите неожиданные проблемы при использовании его в сочетании с Selenium.
Такие решения, как Splash или Selenium, предназначены для использования только в качестве последнего ресурса, когда все остальное терпит неудачу.
hxs = HtmlXPathSelector(response) #response is already in Selector, use direct `response.xpath`
url = urllib.parse.urljoin(response.url, url)
использовать как:
url = response.urljoin (url)
да, он будет остановлен как повторяющийся запрос к prev URL, вам нужно добавить dont_filter=True проверить