Очистка веб-страниц, очистка экрана, советы по интеллектуальному анализу данных? [закрыто]

В настоящее время этот вопрос не подходит для нашего формата вопросов и ответов. Мы ожидаем, что ответы будут подтверждены фактами, ссылками или опытом, но этот вопрос, скорее всего, повлечет за собой дебаты, аргументы, опросы или расширенное обсуждение. Если вы считаете, что этот вопрос можно улучшить и, возможно, снова открыть, посетите справочный центр , чтобы получить рекомендации.

Закрыт 6 лет назад .

Я работаю над проектом, и мне нужно сделать много очистки экрана, чтобы получить как можно больше данных. Мне интересно, знает ли кто-нибудь о хороших API или ресурсах, которые могут мне помочь.

Я, кстати, использую java.

Вот каким был мой рабочий процесс до сих пор:

Подключиться к веб-сайту (используя HTTPComponents от Apache).
Веб-сайт содержит раздел с кучей ссылок, которые мне нужно посетить (с использованием встроенных java-анализаторов HTML, чтобы выяснить, какие все ссылки мне нужно посетить, это раздражающий и беспорядочный код)
Посетите все ссылки, которые я нашел
Для каждой ссылки, которую я посещаю, есть больше данных, которые мне нужно извлечь, разложить на нескольких страницах, поэтому мне может потребоваться посетить больше ссылок

Мысли:

Кто-нибудь знает какие-либо анализаторы html более высокого уровня / более интеллектуальные, чем встроенный в java?
В основном это поиск в глубину. Я полагаю, что когда-нибудь мне захочется сделать это многопоточным, чтобы я мог посещать некоторые из этих ссылок параллельно.
Может быть, то, что я действительно ищу, - это многопоточная библиотека для сканирования веб-страниц

Если вы не догадались , Я впервые возился с этим, поэтому мне трудно сформулировать, в чем именно заключаются мои потребности. Я был бы очень признателен за любой вклад, который мог бы внести любой из вас, кто делал это раньше.

задан JPC 2 November 2010 в 16:24

0 ответов

Другие вопросы по тегам:

java screen-scraping html-parsing data-mining web-scraping

Очистка веб-страниц, очистка экрана, советы по интеллектуальному анализу данных? [закрыто]

0 ответов

Похожие вопросы: