Преобразуйте XML-файл в CSV в Java

Лучший способ кодирования, основанный на описанных вами требованиях, - это использовать простую функцию FreeMarker и обработки XML. См. Документы .

В этом случае вам понадобится только шаблон, который будет создавать CSV.

Альтернативой этому является XMLGen , но очень похожий подход. Просто посмотрите на эту диаграмму и примеры, и вместо операторов SQL вы получите CSV.

Эти два похожих подхода не являются «традиционными», но очень быстро выполняют свою работу в вашей ситуации, и вам не нужно изучать XSL (я думаю, что это довольно сложно освоить).

Я не уверен, что SAX - лучший подход для вас. Однако здесь есть разные способы использования SAX.

Если порядок элементов не гарантируется в определенных элементах, таких как ListingDetails, вам необходимо проявлять инициативу.

Когда вы запускаете ListingDetails, инициализируйте карту как переменную-член в обработчике. В каждом подэлементе установите соответствующую пару "ключ-значение" на этой карте. Когда вы закончите ListingDetails, изучите карту и явно имитируйте значения, такие как нули, для отсутствующих элементов. Предполагая, что у вас есть один ListingDetails для каждого элемента, сохраните его в переменной-члене в обработчике.

Теперь, когда ваш элемент item закончен, у вас есть функция, которая записывает строку CSV на основе карты в нужном вам порядке.

Риск заключается в том, что вы испортили XML. Я бы настоятельно рекомендовал установить для всех этих переменных значение null при запуске элемента, а затем проверять наличие ошибок и сообщать о них, когда элемент заканчивается.

Вы можете использовать XStream ( http://x-stream.github.io/ ) или JOX ( http : //www.wutka.com/jox.html ), чтобы распознать xml и затем преобразовать его в Java Bean. Я думаю, вы можете автоматически преобразовать Beans в CSV, как только получите bean.

Вот код, который реализует преобразование XML в CSV с помощью StAX. Хотя XML, который вы привели, является лишь примером, я надеюсь, что это покажет вам, как работать с необязательными элементами.

import javax.xml.stream.XMLInputFactory;
import javax.xml.stream.XMLStreamConstants;
import javax.xml.stream.XMLStreamException;
import javax.xml.stream.XMLStreamReader;
import java.io.*;

public class App 
{
    public static void main( String[] args ) throws XMLStreamException, FileNotFoundException
    {
        new App().convertXMLToCSV(new BufferedInputStream(new FileInputStream(args[0])), new BufferedOutputStream(new FileOutputStream(args[1])));
    }

    static public final String ROOT = "root";
    static public final String ITEM = "Item";
    static public final String ITEM_ID = "ItemID";
    static public final String ITEM_DETAILS = "ListingDetails";
    static public final String START_TIME = "StartTime";
    static public final String END_TIME = "EndTime";
    static public final String ITEM_URL = "ViewItemURL";
    static public final String AVERAGES = "averages";
    static public final String AVERAGE_TIME = "AverageTime";
    static public final String AVERAGE_PRICE = "AveragePrice";
    static public final String SEPARATOR = ",";

    public void convertXMLToCSV(InputStream in, OutputStream out) throws XMLStreamException
    {
        PrintWriter writer = new PrintWriter(out);
        XMLStreamReader xmlStreamReader = XMLInputFactory.newInstance().createXMLStreamReader(in);
        convertXMLToCSV(xmlStreamReader, writer);
    }

    public void convertXMLToCSV(XMLStreamReader xmlStreamReader, PrintWriter writer) throws XMLStreamException {
        writer.println("ItemID,StartTime,EndTime,ViewItemURL,AverageTime,AveragePrice");
        xmlStreamReader.nextTag();
        xmlStreamReader.require(XMLStreamConstants.START_ELEMENT, null, ROOT);

        while (xmlStreamReader.hasNext()) {
            xmlStreamReader.nextTag();
            if (xmlStreamReader.isEndElement())
                break;

            xmlStreamReader.require(XMLStreamConstants.START_ELEMENT, null, ITEM);
            String itemID = nextValue(xmlStreamReader, ITEM_ID);
            xmlStreamReader.nextTag(); xmlStreamReader.require(XMLStreamConstants.START_ELEMENT, null, ITEM_DETAILS);
            String startTime = nextValue(xmlStreamReader, START_TIME);
            xmlStreamReader.nextTag();
            String averageTime = null;
            String averagePrice = null;

            if (xmlStreamReader.getLocalName().equals(AVERAGES))
            {
                averageTime = nextValue(xmlStreamReader, AVERAGE_TIME);
                averagePrice = nextValue(xmlStreamReader, AVERAGE_PRICE);
                xmlStreamReader.nextTag();
                xmlStreamReader.require(XMLStreamConstants.END_ELEMENT, null, AVERAGES);
                xmlStreamReader.nextTag();
            }
            String endTime = currentValue(xmlStreamReader, END_TIME);
            String url = nextValue(xmlStreamReader,ITEM_URL);
            xmlStreamReader.nextTag(); xmlStreamReader.require(XMLStreamConstants.END_ELEMENT, null, ITEM_DETAILS);
            xmlStreamReader.nextTag(); xmlStreamReader.require(XMLStreamConstants.END_ELEMENT, null, ITEM);

            writer.append(esc(itemID)).append(SEPARATOR)
                    .append(esc(startTime)).append(SEPARATOR)
                    .append(esc(endTime)).append(SEPARATOR)
                    .append(esc(url));
            if (averageTime!=null)
                writer.append(SEPARATOR).append(esc(averageTime)).append(SEPARATOR)
                        .append(esc(averagePrice));
            writer.println();                        
        }

        xmlStreamReader.require(XMLStreamConstants.END_ELEMENT, null, ROOT);
        writer.close();

    }

    private String esc(String string) {
        if (string.indexOf(',')!=-1)
            string = '"'+string+'"';
        return string;
    }

    private String nextValue(XMLStreamReader xmlStreamReader, String name) throws XMLStreamException {
        xmlStreamReader.nextTag();
        return currentValue(xmlStreamReader, name);
    }

    private String currentValue(XMLStreamReader xmlStreamReader, String name) throws XMLStreamException {
        xmlStreamReader.require(XMLStreamConstants.START_ELEMENT, null, name);
        String value = "";
        for (;;) {
            int next = xmlStreamReader.next();
            if (next==XMLStreamConstants.CDATA||next==XMLStreamConstants.SPACE||next==XMLStreamConstants.CHARACTERS)
                value += xmlStreamReader.getText();
            else if (next==XMLStreamConstants.END_ELEMENT)
                break;
            // ignore comments, PIs, attributes
        }
        xmlStreamReader.require(XMLStreamConstants.END_ELEMENT, null, name);
        return value.trim();
    }    
}

Ну, это примерно шесть или семь страниц в книге, так что это немного сложно для ответа на StackOverflow. :-)

Вот пример проекта с пользовательским View, который также обернут в пользовательский Preference. Это всего ~80 строк кода, хотя большая часть интеллектуальных возможностей пользовательского интерфейса связана с пользовательским классом View.

В двух словах, чтобы создать пользовательский DialogPreference, вам нужно определить:

• конструкторы
• onCreateDialogView() и onBindDialogView() для создания содержимого диалога и заполнения его данными предпочтения
• onDialogClosed() для обработки, когда пользователь изменяет предпочтение
• onGetDefaultValue() для обработки вашего общего значения по умолчанию, если предпочтение еще не установлено
• onSetInitialValue() для загрузки значения предпочтения или использования вашего значения по умолчанию

Это выглядит как хороший случай для использования XSL. Учитывая ваши основные требования, может быть проще получить нужные узлы с помощью XSL по сравнению с пользовательскими парсерами или сериализаторами. Преимуществом будет то, что ваш XSL может нацеливаться на "//Item//AverageTime" или любые другие узлы, которые вам нужны, не заботясь о глубине узла.

UPDATE: Ниже приведен xslt, который я создал, чтобы убедиться, что все работает, как ожидалось.

<?xml version="1.0"?>
<xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform">
<xsl:output method="text" />
<xsl:template match="/">
ItemID,StartTime,EndTime,ViewItemURL,AverageTime,AveragePrice
<xsl:for-each select="//Item">
<xsl:value-of select="ItemID"/><xsl:text>,</xsl:text><xsl:value-of select="//StartTime"/><xsl:text>,</xsl:text><xsl:value-of select="//EndTime"/><xsl:text>,</xsl:text><xsl:value-of select="//ViewItemURL"/><xsl:text>,</xsl:text><xsl:value-of select="//AverageTime"/><xsl:text>,</xsl:text><xsl:value-of select="//AveragePrice"/><xsl:text>
</xsl:text>
</xsl:for-each>
</xsl:template>

</xsl:stylesheet>

Обратите внимание, что это был бы яркий пример использования XSLT, за исключением того, что большинство процессоров XSLT считывают весь XML-файл в память, что не является вариантом, поскольку оно велико. Однако обратите внимание, что корпоративная версия Saxon может выполнять потоковую обработку XSLT (если сценарий XSLT соответствует ограничениям).

Вы также можете вместо этого использовать внешний XSLT-процессор вне JVM, если это применимо. Это открывает еще несколько вариантов.

Потоковая передача в Saxon-EE: http://www.saxonica.com/documentation/sourcedocs/serial.html

Я не уверен, что понимаю, насколько общим должно быть решение. Вы действительно хотите дважды разобрать файл размером 1 ГБ для универсального решения? И если вы хотите что-то общее, почему вы пропустили элемент в вашем примере? Сколько разных форматов вам нужно обработать? Вы действительно не знаете, каким может быть формат (даже если какой-то элемент может быть опущен)? Не могли бы вы пояснить?

По моему опыту, обычно предпочтительнее разбирать конкретные файлы конкретным способом (это не исключает использования общего API). Мой ответ будет идти в этом направлении (и я обновлю его после уточнения).

Если вы не чувствуете себя комфортно с XML, вы можете рассмотреть возможность использования некоторых существующих (коммерческих) библиотек, например, Ricebridge XML Manager и CSV Manager. Полный пример см. в Как преобразовать CSV в XML и XML в CSV с помощью Java. Подход довольно прост: вы определяете поля данных с помощью выражений XPath (что идеально подходит в вашем случае, поскольку вы можете иметь "дополнительные" элементы), разбираете файл, а затем передаете результат List компоненту CSV для создания CSV-файла. API выглядит простым, код протестирован (исходный код их тестовых примеров доступен под лицензией BSD), они заявляют о поддержке файлов гигабайтного размера.

Вы можете получить лицензию Single Developer за $170, что не очень дорого по сравнению с дневными ставками разработчиков.

Они предлагают 30-дневные пробные версии, посмотрите.

Другим вариантом может быть использование Spring Batch. Spring batch предлагает все необходимое для работы с XML файлами в качестве ввода или вывода (используя StAX и XML binding framework по вашему выбору) и плоскими файлами в качестве ввода или вывода. См.:

• документацию Spring Batch Documentation
• примеры Samples (особенно пример trade)
• Первый взгляд на Spring-Batch, часть 2

Вы также можете использовать Smooks для преобразования XML в CSVtransformations. Смотрите также:

• Структурированная потоковая передача событий с помощью Smooks

Другим вариантом может быть создание собственного решения, используя парсер StAX или, почему бы и нет, используя VTD-XML и XPath. Посмотрите:

• Введение в VTD - XML
• Бессхемное связывание данных Java-XML с VTD-XML