Java [закрытый] парсинг HTML

Основной проблемой, как указано путем предшествования комментариям является уродливый HTML, таким образом, инструмент для очистки HTML или преобразователь HTML-XML - необходимость. Как только Вы получаете код XML (XHTML), там много инструментов для обработки его. Вы могли получить его с простым обработчиком SAX, который извлекает только данные, в которых Вы нуждаетесь или любой основанный на дереве метод (DOM, JDOM, и т.д.), которые позволяют Вам даже изменить исходный код.

Вот пример кода, который использует инструмент для очистки HTML для получения всех ОТДЕЛЕНИЙ, которые используют определенный класс и распечатывают все текстовое содержание в нем.

import java.io.IOException;
import java.net.URL;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;

import org.htmlcleaner.HtmlCleaner;
import org.htmlcleaner.TagNode;

/**
 * @author Fernando Miguélez Palomo <fernandoDOTmiguelezATgmailDOTcom>
 */
public class TestHtmlParse
{
    static final String className = "tags";
    static final String url = "http://www.stackoverflow.com";

    TagNode rootNode;

    public TestHtmlParse(URL htmlPage) throws IOException
    {
        HtmlCleaner cleaner = new HtmlCleaner();
        rootNode = cleaner.clean(htmlPage);
    }

    List getDivsByClass(String CSSClassname)
    {
        List divList = new ArrayList();

        TagNode divElements[] = rootNode.getElementsByName("div", true);
        for (int i = 0; divElements != null && i < divElements.length; i++)
        {
            String classType = divElements[i].getAttributeByName("class");
            if (classType != null && classType.equals(CSSClassname))
            {
                divList.add(divElements[i]);
            }
        }

        return divList;
    }

    public static void main(String[] args)
    {
        try
        {
            TestHtmlParse thp = new TestHtmlParse(new URL(url));

            List divs = thp.getDivsByClass(className);
            System.out.println("*** Text of DIVs with class '"+className+"' at '"+url+"' ***");
            for (Iterator iterator = divs.iterator(); iterator.hasNext();)
            {
                TagNode divElement = (TagNode) iterator.next();
                System.out.println("Text child nodes of DIV: " + divElement.getText().toString());
            }
        }
        catch(Exception e)
        {
            e.printStackTrace();
        }
    }
}

Вам могло бы быть интересно TagSoup, синтаксический анализатор HTML Java, который в состоянии обработать уродливый HTML. Синтаксические анализаторы XML работали бы только над хорошо сформированным XHTML.

Проект HTMLParser ( http://htmlparser.sourceforge.net/ ) мог бы быть возможностью. Это, кажется, довольно достойно при обработке уродливого HTML. Следующий отрывок должен сделать то, в чем Вы нуждаетесь:

Parser parser = new Parser(htmlInput);
CssSelectorNodeFilter cssFilter = 
    new CssSelectorNodeFilter("DIV.targetClassName");
NodeList nodes = parser.parse(cssFilter);

HTMLUnit мог бы помочь. Это действительно намного больше наполняет также.

http://htmlunit.sourceforge.net/ 1

Если Ваш HTML правильно построен, можно легко использовать синтаксический анализатор XML, чтобы сделать задание для Вас... Если бы Вы только читаете, , SAX был бы идеален.