“Умный” способ проанализировать и использовать данные веб-сайта?

Попробуйте поискать в Google очистку экрана + язык, который вы предпочитаете. Я знаю несколько вариантов Python, вы можете найти эквивалент для предпочитаемого вами языка:

• Beatiful Soup
• Mechanize: аналогично Perl WWW: Mechanize. Предоставляет объект, подобный браузеру, для взаимодействия с веб-страницами
• lxml: привязка python к libwww
• scrapemark: использует шаблоны для очистки фрагментов страниц
• pyquery: позволяет выполнять запросы jQuery в документах xml / xhtml
• scrapy: высокоуровневый фреймворк для сканирования и сканирования веб-страниц для написания пауков для сканирования и анализа веб-страниц

В зависимости от веб-сайта, который нужно очистить, вам может потребоваться использовать один или несколько подходов, описанных выше.

Без фиксированной структуры HTML для анализа, Я бы не хотел поддерживать регулярные выражения для поиска данных. Возможно, вам больше повезет с анализом HTML с помощью подходящего парсера, который строит дерево. Затем выберите элементы ... которые были бы более удобными в обслуживании.

Очевидно, что лучший способ - это какой-нибудь XML-вывод из механизма с фиксированной разметкой, который вы можете проанализировать и проверить. Я бы подумал, что библиотека синтаксического анализа HTML с некоторыми «в темноте» зондирование созданного дерева было бы проще поддерживать, чем регулярные выражения.

Таким образом, вам просто нужно проверить ... превращается в ... или что-то в этом роде.

Вы не говорите, на каком языке говорите. В мире Java вы можете использовать TagSoup и XPath, чтобы минимизировать неудобства. Вот пример из этого блога (конечно, XPath может быть намного сложнее, если того требуют ваши нужды):

URL url = new URL("http://example.com");
SAXBuilder builder = new SAXBuilder("org.ccil.cowan.tagsoup.Parser"); // build a JDOM tree from a SAX stream provided by tagsoup
Document doc = builder.build(url);
JDOMXPath titlePath = new JDOMXPath("/h:html/h:head/h:title");
titlePath.addNamespace("h","http://www.w3.org/1999/xhtml");
String title = ((Element)titlePath.selectSingleNode(doc)).getText();
System.out.println("Title is "+title);

Я бы рекомендовал экстернализировать выражения XPath, чтобы у вас была некоторая степень защиты, если сайт изменения.

Вот пример XPath, который я определенно не использую для сканирования этого сайта. Ни в коем случае, не я:

"//h:div[contains(@class,'question-summary')]/h:div[@class='summary']//h:h3"

Вы не упомянули, какой стек технологий вы используете. Если вы разбираете HTML, я бы использовал библиотеку синтаксического анализа:

• Beautiful Soup (Python)
• HTML Agility Pack (.NET)

Существуют также веб-службы, которые делают именно то, что вы поговорка - коммерческая и бесплатная. Они очищают сайты и предлагают интерфейсы веб-сервисов.

И общий веб-сервис, который предлагает некоторую очистку экрана, - это Yahoo Pipes. предыдущий вопрос о переполнении стека по этому

Это не надежно, но вы можете посмотреть парсер, такой как Beautiful Soup Он не сможет волшебным образом найти ту же информацию, если макет изменится, но это намного проще, чем писать сложные регулярные выражения. Обратите внимание, что это модуль Python.

К сожалению, «парсинг» - наиболее распространенное решение, как вы сказали, при попытке проанализировать HTML с веб-сайтов. Вы можете обнаружить структурные изменения на странице и пометить предупреждение, которое нужно исправить, чтобы изменение в их конце не приводило к ошибочным данным. Пока семантическая сеть не станет реальностью, это в значительной степени единственный способ гарантировать большой набор данных.

В качестве альтернативы вы можете придерживаться небольших наборов данных, предоставляемых API. Yahoo очень усердно работает над предоставлением данных с возможностью поиска через API (см. YDN), я думаю, что Amazon API открывает много книжных данных и т. Д. И т. Д.

Надеюсь, что это немного поможет!

РЕДАКТИРОВАТЬ: И если вы используете PHP, я бы рекомендовал SimpleHTMLDOM

Вы изучали возможность использования библиотеки обработки HTML? У Ruby есть несколько довольно хороших. например, hpricot

С хорошей библиотекой вы можете указать части страницы, которые вы хотите, используя селекторы CSS или xpath. Это было бы намного надежнее, чем использование регулярных выражений.

Пример из hpricot wiki:

 doc = Hpricot(open("qwantz.html"))
 (doc/'div img[@src^="http://www.qwantz.com/comics/"]')
   #=> Elements[...]

Я уверен, что вы могли бы найти библиотеку, которая делает аналогичные вещи в .NET, Python и т. Д.

Если вы можете использовать что-то вроде Tag Soup , то это будет место для начала. Тогда вы могли бы рассматривать страницу как XML API, вроде как.

Она имеет реализацию на Java и C ++, может работать!

Parsley на http://www.parselets.com выглядит довольно привлекательно.

Он позволяет вам определять «парслеты» с помощью JSON, что вы определяете, что и ищите на странице, а затем он анализирует эти данные для вас.