0
ответов
Нажмите кнопку в Scrapy
Я использую Scrapy для сканирования веб-страницы. Некоторая информация, которая мне нужна, появляется только при нажатии на определенную кнопку (конечно, она также появляется в HTML-коде после нажатия). Я узнал, что Scrapy ...
вопрос задан: 13 July 2011 16:45
0
ответов
Промежуточное ПО Scrapy order
В документации Scrapy сказано: первое промежуточное ПО находится ближе к движку, а последнее - к загрузчику. Чтобы решить, какой порядок назначить вашему промежуточному программному обеспечению ...
вопрос задан: 8 July 2011 11:10
0
ответов
Следуя ссылкам, фреймворк веб-сканера Scrapy
После нескольких чтений документов Scrapy я все еще не улавливаю разницу между использованием CrawlSpider rules и реализации моего собственного механизма извлечения ссылок в методе обратного вызова. Я собираюсь ...
вопрос задан: 6 July 2011 03:27
0
ответов
تشغيل Scrapy من برنامج نصي - Hangs
أحاول تشغيل scrapy من نص كما تمت مناقشته هنا. اقترحت استخدام هذا المقتطف ، ولكن عندما أفعل ذلك يتوقف إلى أجل غير مسمى. تمت كتابة هذا مرة أخرى في الإصدار .10 ؛ هل لا يزال متوافقًا مع ...
вопрос задан: 27 June 2011 14:01
0
ответов
Сервер Websocket со скрученным и Python, выполняющим сложные задания в фоновом режиме
Я хочу закодировать сервер, который обрабатывает клиентов Websocket, при этом mysql выбирает через sqlalchemy и одновременно очищает несколько веб-сайтов (scrapy). Полученные данные должны быть рассчитаны, сохранены ...
вопрос задан: 6 June 2011 09:53
0
ответов
Вывод Scrapy подает международные символы Unicode (например, японские символы)
Я новичок в Python и scrapy и Я следую руководству по dmoz. В качестве второстепенного варианта предлагаемого начального URL-адреса учебника я выбрал категорию на японском языке с сайта примера dmoz и заметил, что ...
вопрос задан: 31 May 2011 18:31
0
ответов
Поддерживается ли scrapy в движке приложений Google?
Он имеет следующие зависимости:
- Twisted 2.5.0, 8.0 или выше
- lxml или libxml2 (при использовании libxml2 настоятельно рекомендуется версия 2.6.28 или выше)
- simplejson
- pyopenssl
вопрос задан: 17 May 2011 15:38
0
ответов
Scrapy - проанализируйте страницу для извлечения элементов - затем следуйте и сохраните содержимое URL элемента
У меня вопрос, как это сделать в scrapy . У меня есть паук, который сканирует страницы со списком предметов. Каждый раз, когда обнаруживается листинговая страница с элементами, возникает обратный вызов parse_item (), который ...
вопрос задан: 30 April 2011 11:07
0
ответов
Следуйте по ссылкам перенаправления в scrapy
Как я могу это установить? Я написал handle_httpstatus_list = [301, 302, 303], но scrapy не переходит по новым ссылкам, он только начал сохранять пустые файлы страниц. PS Английский не мой родной ...
вопрос задан: 15 April 2011 05:39
0
ответов
Изменение экспорта CSV в scrapy
Кажется упустить что-то очень простое. Все, что я хочу делать, это использовать; как
разделитель в экспортере CSV вместо,. Я знаю, что экспортер CSV передает kwargs писателю csv, но я не могу
рисунок ...
вопрос задан: 24 March 2011 01:44
0
ответов
Scrapy и прокси
Как вы используете поддержку прокси с веб-сайтом python? фреймворк scraping Scrapy?
вопрос задан: 18 March 2011 16:06
0
ответов
Почему scrapy выдает ошибку при попытке сканирования и синтаксического анализа сайта?
Следующий код класса SiteSpider (BaseSpider): name = "some_site.com" allowed_domains = ["some_site.com"] start_urls = ["some_site.com/something/another/PRODUCT -...
вопрос задан: 10 March 2011 19:31
0
ответов
recursive crawling with Python and Scrapy
I'm using scrapy to crawl a site. The site has 15 listings per page and then has a next button. I am running into an issue where my Request for the next link is being called before I am finished ...
вопрос задан: 8 March 2011 02:34
0
ответов
Scrapy: пропустить элемент и продолжить выполнение
Я использую RSS-паук. Я хочу продолжить выполнение
паук игнорирует текущий узел, если в текущем нет совпадения
item ... Пока что у меня есть это: if info.startswith ('...
вопрос задан: 18 February 2011 10:23
0
ответов
Scrapy: connection refused
I'm receiving an error when trying to test scrapy installation: $ scrapy shell http://www.google.es
j2011-02-16 10:54:46+0100 [scrapy] INFO: Scrapy 0.12.0.2536 started (bot: scrapybot)
2011-02-16 10:...
вопрос задан: 16 February 2011 10:28
0
ответов
Scrapy - как управлять куки / сессиями
Я немного не понимаю, как файлы cookie работают со Scrapy и как вы управляете этими файлами cookie. По сути, это упрощенная версия того, что я пытаюсь сделать: Как работает веб-сайт: когда вы посещаете ...
вопрос задан: 12 February 2011 14:28
0
ответов
Использование нескольких пауков в проекте в Scrapy
] Я хочу знать, можно ли вместе использовать несколько пауков в одном проекте. На самом деле мне нужно 2 паука. Первый собирает ссылки, по которым второй паук должен соскрести. Они оба ...
вопрос задан: 3 February 2011 03:51
0
ответов
Сканированы ссылки Scrapy Django Limit
Я только что установил и запустил scrapy, он отлично работает, но у меня есть два (нуба) вопроса. Сначала я должен сказать, что я совершенно новичок в сайтах scrapy и spidering. Можете ли вы ограничить количество ссылок ...
вопрос задан: 24 November 2010 19:20
0
ответов
Не вызывается конвейер scrapy spider_opened и spider_closed
У меня проблемы с конвейером scrapy. Моя информация обрабатывается с сайтов нормально, и метод process_item вызывается правильно. Однако spider_opened и spider_closed ...
вопрос задан: 6 November 2010 13:29
0
ответов
Не удается заставить работать конвейер Scrapy
У меня есть паук, который я написал, используя фреймворк Scrapy. У меня возникли проблемы с запуском конвейеров. У меня есть следующий код в моем pipelines.py: class FilePipeline(object): ...
вопрос задан: 4 November 2010 19:40
0
ответов
веб-сервер возвращает «500 Internal Server Error» после отправки этого FormRequest с использованием Scrapy
Я создаю следующий запрос формы в соответствии с содержимым httpFox (аддон Firefox). Однако веб-сервер всегда возвращает «500 Internal Server Error». Может ли кто-нибудь помочь мне в этом? Оригинальный URL ...
вопрос задан: 24 October 2010 13:44
0
ответов
Получение реального IP-адреса в локальной среде разработки Rails
У меня есть Rails 2.3.8, Ruby 1.8 .7, веб-сервер Mongrel и база данных MySQL. Я нахожусь в режиме разработки, и мне нужно найти настоящий IP-адрес. Когда я использую request.remote_ip, я получаю IP как 127.0.0 ....
вопрос задан: 8 October 2010 05:50
0
ответов
Как установить libxml2 в virtualenv?
У меня есть virtualenv с параметром --no-site-packages. Я использую в нем scrapy. Scrapy использует libxml2 путем импорта libxml2. Как установить libxml2 в virtualenv с помощью pip или easy_install?
вопрос задан: 4 October 2010 15:03
0
ответов
Scrapy - следуйте по ссылкам RSS
Мне было интересно, пытался ли кто-нибудь когда-нибудь извлечь / перейти по ссылкам на RSS-элементы с помощью SgmlLinkExtractor / CrawlSpider. Я не могу заставить его работать ... Я использую следующее правило: rules = (Rule (...
вопрос задан: 31 May 2010 09:29