1
ответ
Xpath верный, но паук Scrapy не работает
Я пытаюсь скачать с веб-страницы, я идентифицирую выражение XPath и затем запускаю паука, но ничего не загружается. Веб-страница: https://octopart.com/electronic-parts/integrated-circuits-ics ...
вопрос задан: 3 March 2019 16:49
1
ответ
Не могу присвоить значение самопеременной python
Я пытаюсь добавить строку в массив indexes внутри функции разбора, но когда я пытаюсь сохранить ее в .json, он становится пустым. import scrapy import json class NewsBrief (scrapy.Spider): имя = "трусы" ...
вопрос задан: 26 February 2019 12:32
1
ответ
Данные таблицы с дополнительными элементами пользователя в CSV с использованием Scrapy
У меня есть скрипт, использующий scrapy, который берет данные из таблицы. Но он сохраняется в формате, потому что исходные данные в порядке аргументов строки: имя firstitem seconditem ... lastitem Как я могу ...
вопрос задан: 23 February 2019 15:14
1
ответ
Scrapy Result не пишется
Я перебираю следующий сайт: https://graphics.stltoday.com/apps/payrolls/salaries/teachers/ Надеюсь почистить все данные для каждого человека. Это означает, что перейдя по ссылке на каждый район, затем ...
вопрос задан: 20 January 2019 05:19
1
ответ
Паук-скраб с IMAGES_STORE в DigitalOcean Spaces
Мне нужна помощь с настройкой IMAGES_STORE для моего паука-скрапа. Я хостинг с DigitalOcean и хотел бы загрузить изображения в их пространства. Мое приложение для скрапбукинга интегрировано с Django ...
вопрос задан: 17 January 2019 11:10
1
ответ
Запуск пользовательского кода после завершения сканирования (scrapy)
Мне нужно проверить все мои очищенные данные после завершения сканирования (процент доступности некоторых полей и т. Д.). Данные содержатся в CSV-файле, поэтому для тестирования я решил использовать Pandas. Есть ...
вопрос задан: 17 January 2019 10:22
1
ответ
JSONDecodeError: Ожидаемое значение в scrapy
Я использую scrapy json.load (response.body), и мы нашли JSONDecodeError: Ожидаемое значение: строка 1, столбец 1 (символ 0). Вот ссылка https: //www.magellanprovider.com/ProviderSearchGateway/sessions / ...
вопрос задан: 16 January 2019 10:14
1
ответ
Scrapy не возвращает результаты для определенных тегов
Я только начал использовать Scrapy сегодня, но у меня есть опыт программирования на javascript, поэтому, пожалуйста, потерпите меня, я дам очень подробное объяснение: я использую GramReport для анализа некоторых ...
вопрос задан: 16 January 2019 06:03
1
ответ
Scrapy: как передавать ссылки
Я не могу передавать ссылки. При запуске паука я не получаю данные с кодом. Я новичок в Scrapy import scrapy от movie.items импортирует класс AfishaCinema AfishaCinemaSpider (scrapy ....
вопрос задан: 13 July 2018 08:30
1
ответ
Как использовать запрос Scrapy и получить ответ в одном месте?
Я пишу сканирующий гусеничный аппарат для очистки данных с веб-сайта электронной коммерции. На сайте есть вариант цвета, и каждый вариант имеет собственную цену, размеры и запас для этих размеров. Чтобы получить цену, ...
вопрос задан: 13 July 2018 05:34
1
ответ
scrapy: как спать паука, пока нет запроса [дубликат]
Я использую scrapy-redis, и я меняю код: def next_request (self): block_pop_timeout = self.idle_before_close request = self.queue.pop (block_pop_timeout) while (not request): time ....
вопрос задан: 13 February 2017 17:53
1
ответ
Получите документ DOCTYPE с BeautifulSoup
Я только что начал переделывать пестрый в сочетании с BeautifulSoup, и я задаюсь вопросом, пропускаю ли я что-то очень очевидное, но я, может казаться, не выясняю, как получить doctype возвращенного...
вопрос задан: 20 December 2016 01:56
1
ответ
Python Scrapy, как определить конвейер для объекта?
Я использую пестрый для проверки различных сайтов для каждого сайта, у меня есть Объект (другая информация извлечена) ну, например, у меня есть универсальный конвейер (большей частью информации является то же), но теперь я...
вопрос задан: 2 November 2015 16:10
1
ответ
Scrapy, как определить пользовательские ItemExporters [duplicate]
Я хочу экспортировать скребковые данные в листы Google. Я знаю, что я могу написать собственный конвейер для получения информации о необходимости экспорта, но из протоколов пробной документации они не предназначены для использования таким образом. Они п
вопрос задан: 22 October 2015 21:15
1
ответ
ImportError: нет ни одного модуля с именем win32api при использовании Scrapy
Я новый ученик Scrapy. Я установил Python 2.7 и все остальные движки, необходимые. Затем я попытался создать проект Scrapy, следуя инструкциям http://doc.scrapy.org/en/latest/intro/tutorial.html. ...
вопрос задан: 15 September 2015 13:03
1
ответ
Как установить настраиваемые переменные аргументов в bash? [Дубликат]
Я пытаюсь запланировать задание cron с использованием сценария bash, который вызывает команду scraw crawl. Для одного из аргументов scrapy у меня есть аргумент, называемый запросом, который является дат-временем, которое я хочу начать ...
вопрос задан: 13 June 2013 19:09
1
ответ
У кого-либо есть пример кода для конвейера sqlite в Scrapy?
Я ищу некоторый пример кода конвейера SQLite в Scrapy. Я знаю, что существует не создано в поддержке его, но я уверен, что это было сделано. Только фактический код может помочь мне, поскольку я только знаю достаточно Python...
вопрос задан: 20 July 2010 21:16
1
ответ
Как создать поисковый робот на основе Scrapy для выполнения навсегда?
Я хочу создать поисковый робот на основе Scrapy для захвата изображений новостей от нескольких веб-сайтов портала новостей. Я хочу к этому поисковому роботу быть: Выполненный навсегда Средства это будет периодический пересматривать некоторые страницы порт
вопрос задан: 28 February 2010 04:07
1
ответ
Scrapy SgmlLinkExtractor игнорирует позволенные ссылки
Смотрите на этот пример паука в документации Scrapy. Объяснение: Этот паук запустил бы домашнюю страницу example.com сканирования, собрав ссылки категории и ссылки на элемент, анализируя...
вопрос задан: 28 November 2009 00:34
1
ответ
Scrapy BaseSpider:Как это работает?
Это - пример BaseSpider из учебного руководства Scrapy: от импорта scrapy.spider BaseSpider от scrapy.selector импортируют HtmlXPathSelector из импорта dmoz.items класс DmozItem DmozSpider (...
вопрос задан: 27 November 2009 00:15
0
ответов
Доступ к моделям django внутри Scrapy
Можно ли получить доступ к моим моделям django внутри конвейера Scrapy, чтобы я мог сохранить полученные данные прямо в моей модели? Я видел это, но не знаю Не знаете, как это настроить?
вопрос задан: 27 June 2019 14:23
0
ответов
Как мне объединить результаты с целевой страницы на текущую в scrapy?
Нужен пример в scrapy о том, как получить ссылку с одной страницы, затем перейдите по этой ссылке, получите дополнительная информация со связанной страницы и объединение с некоторыми данными с первой страницы.
вопрос задан: 26 June 2019 19:17
0
ответов
Как динамически генерировать start_urls при сканировании?
Я просматриваю сайт, который может содержать много start_urls, например: http: // www .a.com / list_1_2_3.htm Я хочу заполнить начальные_урлы, например [list_ \ d + _ \ d + _ \ d + \. htm],
и извлекаю элементы из URL-адресов, например [node _ \ ...
вопрос задан: 24 June 2019 09:56
0
ответов
как передать аргумент в паука-скрапа и инициировать его из питона
я пытаюсь передать переменную screen_name моему пауку, потому что это screen_name будет меняться каждый раз. (конечная цель - запустить несколько пауков с разными именами экранов) я инициализирую ...
вопрос задан: 19 May 2019 13:06
0
ответов
Мой обход паука через SplashRequest вызвал неожиданную остановку всплеска через некоторое время выполнения
Я использую SplashRequest, чтобы выполнить некоторый код JavaScript через скрипт Lua. Если я запускаю короткий список URL-адресов, все работает нормально, но проблема возникает, когда в списке более ~ 50 URL-адресов, это вызвало ...
вопрос задан: 28 March 2019 03:12
0
ответов
Дублированные результаты показаны структурой последовательности в Python
Идея состоит в том, чтобы удалить имена и количество элементов с главной страницы и удалить рейтинг со страницы ссылок, но результат показывает несколько повторяющихся результатов.
вопрос задан: 24 March 2019 07:34
0
ответов
Паук Scrapy только возвращает последний пункт в списке
Я строю скребок для сканирования страницы и возврата нескольких элементов (тегов h3 & amp; p) из div По какой-то причине, скребок будет печатать все поля имени при вызове, но сохраняет информацию только для ...
вопрос задан: 24 March 2019 06:04
0
ответов
невозможно развернуть scrapy на сервере scrapyd
Я пытаюсь развернуть мой scrap, который подключен к проекту django, к scrapyd, но когда я попробовал scrapyd-deploy JD -p JDSpider, это не удалось. Он сказал, что нет модуля с именем GradutionProject. Кажется, скрапид ...
вопрос задан: 23 March 2019 17:20
0
ответов
Python Scrapy Многостраничный скребок
Я пытаюсь добавить +1 к URL-адресу и очистить несколько страниц, но получаю сообщение об ошибке + x scrap import import # здесь отформатирован класс HeadphonesSpider (scrapy.Spider): name = "наушники" def ...
вопрос задан: 22 March 2019 12:48
0
ответов
Используйте ImagesPipeline во вложенных элементах в Scrapy
У меня есть пустые массивы, когда я пытаюсь загрузить изображения в scrapy, и это кажется немного странным. Я следовал за шагами, но кажется, что ImagePipeline не работает с вложенными элементами. Но это важно ...
вопрос задан: 21 March 2019 15:28