1
ответ
Программно Отправьте форму и цикл посредством подкачки страниц (C#.NET)
Я должен записать пользовательский веб-скребок для горной промышленности некоторых данных.? Я знаю, как отправить использование формы класс HttpWebRequest метод Сообщения. Мой вызов состоит в том, чтобы циклично выполниться через получающиеся страницы и п
вопрос задан: 24 May 2010 06:50
0
ответов
Как выбрать значение раскрывающегося меню в Selenium с помощью Python?
Мне нужно выбрать элемент из раскрывающегося меню. Например:
0
ответов
Как мне объединить результаты с целевой страницы на текущую в scrapy?
Нужен пример в scrapy о том, как получить ссылку с одной страницы, затем перейдите по этой ссылке, получите дополнительная информация со связанной страницы и объединение с некоторыми данными с первой страницы.
вопрос задан: 26 June 2019 19:17
0
ответов
Создайте изящную статью из неструктурированного корпуса данных в python [в ожидании]
Я очень новичок в НЛП и машинном обучении (все еще учусь на веревках). Я имел в виду практическую проблему. У меня есть статья по информационной безопасности, которую я собираю каждые 3 дня. Мы обычно собираем данные ...
вопрос задан: 25 June 2019 19:14
0
ответов
Как динамически генерировать start_urls при сканировании?
Я просматриваю сайт, который может содержать много start_urls, например: http: // www .a.com / list_1_2_3.htm Я хочу заполнить начальные_урлы, например [list_ \ d + _ \ d + _ \ d + \. htm],
и извлекаю элементы из URL-адресов, например [node _ \ ...
вопрос задан: 24 June 2019 09:56
0
ответов
Соскребая веб-страницу JavaScript с Python
Я пытаюсь разработать простой веб-скребок. Я хочу извлечь текст без кода HTML. На самом деле я достиг этой цели, но я видел, что на некоторых страницах, где загружен JavaScript, я не получил ...
вопрос задан: 11 May 2019 15:12
0
ответов
Очистка веб-страницы с помощью C # и HTMLAgility
Я читал, что HTMLAgility 1.4 - отличное решение для очистки веб-страницы. Как новый программист, я надеюсь, что смогу получить какой-то вклад в этот проект.
Я делаю это как форму заявки на C #. ...
вопрос задан: 12 April 2019 14:10
0
ответов
Ошибка при попытке импортировать URL Json в Excel
Я пытаюсь импортировать информацию в формате JSON из следующего URL-адреса с помощью WinHttpRequest: https://bet.hkjc.com/football/getJSON.aspx?jsontype=odds_allodds.aspx&matchid=default Sub test () Dim .. ,
вопрос задан: 8 April 2019 10:13
0
ответов
Более быстрая альтернатива Rselenium
Я создаю скребок для этой страницы: https://www.oddsportal.com. Так как на странице используется рендеринг javascript, я выбрал Rselenium. Моя цель - оценить шансы на каждый матч, сыгранный в этом году. Я использую ...
вопрос задан: 8 April 2019 07:02
0
ответов
Tor: случайный номер порта
Я хочу сгенерировать случайный номер вместе со случайным номером порта. Используя TorRequest, я могу генерировать случайные ips как 37.6.780.109, используя URL ниже: https://ipecho.net/plain Код, который я использую, ниже ....
вопрос задан: 29 March 2019 12:19
0
ответов
Нестабильные результаты при очистке Amazon
Я новичок в области веб-очистки. Надеюсь, этот вопрос понятен. В интернете я нашел учебник по сбору данных Amazon, основанный на заданном ASIN (уникальный номер Amazon). Смотрите: https: // www ....
вопрос задан: 29 March 2019 07:35
0
ответов
Python 3.7 - PhantomJS - Driver.get (url) с «Описатель окна / имя неверно или закрыто?»
Использование двух функций для очистки сайта приводит к ошибке driver.get. Я пробовал разные варианты цикла while и for, чтобы заставить это работать. Теперь я получаю ошибку driver.get. Начальная функция ...
вопрос задан: 28 March 2019 05:51
0
ответов
Проблемы со входом в LinkedIn через rvest
Начинаем экспериментировать с поиском в Интернете с помощью пакета rvest - в частности, с веб-сайтов, требующих входа в систему. Как стартер на 10, я пытался войти в LinkedIn, так как я нашел некоторые ...
вопрос задан: 24 March 2019 20:01
0
ответов
Паук Scrapy только возвращает последний пункт в списке
Я строю скребок для сканирования страницы и возврата нескольких элементов (тегов h3 & amp; p) из div По какой-то причине, скребок будет печатать все поля имени при вызове, но сохраняет информацию только для ...
вопрос задан: 24 March 2019 06:04
0
ответов
Запросить веб-страницу с предварительно выбранным нажатием кнопки?
Рассмотрим, например, веб-страница https://finance.yahoo.com/quote/NVDA/financials?p=NVDA Прямо над таблицей на этом веб-сайте есть две кнопки «Ежегодно» и «Ежеквартально», которые заполняют таблицу ...
вопрос задан: 24 March 2019 03:46
0
ответов
Как обернуть аргументы css и xpath в html_nodes в обобщенную функцию
Я хочу создать оболочку вокруг html_node, способную читать аргументы CSS и XPATH. Я хочу создать выражение в кавычках, которое может быть передано в html_node и оценено на месте. Я ...
вопрос задан: 23 March 2019 19:31
0
ответов
Нажмите кнопку с Chromedp
Я пытаюсь использовать библиотеку Go Chromedp, чтобы очистить некоторые данные с веб-страницы. Мне нужно нажать кнопку, например кнопку «Нажми меня» на веб-сайте W3C School. Мне необходимо ...
вопрос задан: 23 March 2019 17:51
0
ответов
Невозможно прокрутить и очистить все отзывы в Rselenium
Я новичок в Rselenium. Я пытаюсь почистить все отзывы с сайта ниже. HTTPS: //www.google.com/search клиент = светлячок-б-1-аб & амп; е = fthAXLWfC8qp_QavqbGIDQ & амп; д = лисица + Фольксвагена + Rochester + холмы и ...
вопрос задан: 18 March 2019 14:01
0
ответов
Scrapy добавляет нежелательную префиксную ссылку при переходе по ссылке
2019-03-17 17:21:06 [scrapy.core.engine] DEBUG: Crawled (404) < GET http://www.google.com/www.distancesto.com/coordinates/de/jugenheim-in- Rheinhessen-широта-долгота / история / 401814.html > (...
вопрос задан: 17 March 2019 21:32
0
ответов
R - очистить веб-страницу с логином на разных доменах
Я пытаюсь получить доступ к странице на сайте моей компании sub.company.com, но для этого требуется вход Страница не перенаправляется автоматически на страницу входа на сайте login.company.com. #login login < - "login ....
вопрос задан: 7 March 2019 10:00
0
ответов
Веб-клиент htmlunit получает 403 после нескольких звонков
Я использую следующую версию htmlunit < dependency > < идентификатор_группа > org.seleniumhq.selenium & л; / идентификатор_группа > < артефакт > селен Java & л; / артефакт > & Л; ...
вопрос задан: 5 March 2019 19:23
0
ответов
Scrapy висит с более чем пятью бегущими пауками
Я пытаюсь запустить сразу несколько «пауков», каждый из командной строки. Например: команда > > python run_scrapy_spider_1.py > > python run_scrapy_spider_2.py Однако, как только я ...
вопрос задан: 4 March 2019 04:02
0
ответов
Rvest с SelectorGadget в Google Shopping возвращает пустой список
Я пытаюсь сделать соскоб с R в Google Shopping, чтобы извлечь текст из обзоров продуктов. Продукт, который я использую в этом примере, можно найти здесь. Чтобы получить путь CSS ...
вопрос задан: 3 March 2019 15:07
0
ответов
Очистка данных так медленно
я пытаюсь удалить данные с помощью Python, и это код импорта запросов импорта JSON импорта панды как pd results = pd.DataFrame () key = 'a' # Идет от 1 до 1000 (включая оба) для значения в ...
вопрос задан: 2 March 2019 03:41
0
ответов
Соскребая Instagram с PHP - Плагин Wordpress
Я пытаюсь получить фотографию пользователя из Instagram без токена доступа. Для этого я строю скребок с PHP. Это работает довольно хорошо, но иногда и только с некоторыми учетными записями, это не ...
вопрос задан: 28 February 2019 13:30
0
ответов
Как записать капчу с помощью Jsoup android
Я новичок в Android, пытаясь разработать небольшое приложение, получая данные с сайта, запрашивая регистрационный номер и капчу, отображая содержимое после отправки. Однако я застрял в подчинении ...
вопрос задан: 22 February 2019 12:48
0
ответов
Веб-просмотр количества ответов на твит с использованием rvest
Я использую rvest и SelectorGadget для очистки данных из Twitter. Я хочу количество ретвитов, лайков и ответов этого твита
вопрос задан: 21 February 2019 09:54
0
ответов
Как создать цикл для загрузки всех фотографий внутри ссылок?
У меня есть дата-фрейм со страницей URL API каждого депутата в Бразилии в столбце с именем uri. У меня есть код, чтобы посетить этот URL, получить URL фотографии и затем загрузить эту фотографию. Но есть 513 ...
вопрос задан: 22 January 2019 03:31
0
ответов
Обзор Амазонки, очищающий с Rvest
У меня есть следующие функции, которые убирают заголовок, рейтинг и обзор приложений из магазина приложений Amazon. Мне было интересно, если кто-то может помочь с двумя вопросами? Функция даты не работает ...
вопрос задан: 20 January 2019 04:03
0
ответов
Обработка динамической HTML-формы с помощью htmlUnit
Предыстория Я использую htmlUnit для имитации поведения пользователя на определенной странице. Я захожу на страницу входа, на которой мне нужно ввести учетные данные пользователя.
вопрос задан: 19 January 2019 15:09