Xpath верный, но паук Scrapy не работает
Если проблема заключается в дополнительном времени компиляции и раздувании бинарного размера, полученном путем компиляции .h как части всех используемых им .cpp-модулей, во многих случаях то, что вы можете сделать, - это сделать класс шаблона опустившимся из не-шаблонного базовый класс для не зависящих от типа частей интерфейса, и что базовый класс может иметь свою реализацию в файле .cpp.
1 ответ
Этот сайт использует простое обнаружение ботов. Скорее всего, вы используете пользовательский агент scrapy по умолчанию. Таким образом, вместо этого вам нужно установить реального агента пользователя в settings.py:
USER_AGENT = '[replace with a real user agent]'
После этого вы получите некоторые результаты. Однако ваш XPath также неверен. Внутри цикла for, когда вы делаете относительный XPath, он должен начинаться с .//a/span.... Здесь вы найдете причину: https://docs.scrapy.org/en/latest/topics/selectors.html#working-with-relative-xpaths