Параметры синтаксического анализа CSV с помощью .NET [закрыто]

Закрыто. Этот вопрос не по теме. В настоящее время ответы не принимаются.

Хотите улучшить этот вопрос?Обновите вопрос, чтобы он соответствовал темепереполнения стека.

Закрыто 5 лет назад.

Я просматриваю параметры синтаксического анализа моего файла с разделителями (например, CSV, с разделением вкладок и т. д.), основанного на стеке MS в целом и .net в частности. Единственная технология, которую я исключаю, — это SSIS, поскольку я уже знаю, что она не удовлетворит мои потребности.

Таким образом, мои варианты выглядят следующим образом:

У меня есть два критерия, которым я должен соответствовать. Во-первых, для следующего файла, который содержит две логические строки данных (и пять физических строк в целом):

101, Боб, "Содержит свой дом "в чистоте"". Нужно заняться стиркой." 102, Эми, «Великолепно. Ведомый. Прилежный».

Анализируемые результаты должны давать две логические «строки», состоящие из трех строк (или столбцов) каждая. Третья строка/столбец должны сохранять символы новой строки! " на следующую физическую строку из-за "незакрытого" квалификатора текста.

Второй критерий заключается в том, что разделитель и квалификатор текста должны быть настраиваемыми для каждого файла.Вот две строки, взятые из разных файлов, которые я должен уметь анализировать:

var first = @"""This"",""Is,A,Record"",""That """"Cannot"""", they say,"","""",,""be"",rightly,""parsed"",at all";
var second = @"~This~|~Is|A|Record~|~ThatCannot~|~be~|~parsed~|at all";

Правильный анализ строки "first" будет следующим:

This
Is,A,Record
That "Cannot ", говорят,
_
_
быть
правильно
разобран
вообще

'_' просто означает, что был захвачен пробел - я не хочу появится буквальная нижняя полоса.

Одно важное допущение можно сделать относительно анализируемых плоских файлов: в файле будет фиксированное количество столбцов.

Теперь поговорим о технических возможностях.

REGEX

Во-первых, многие респонденты отмечают, что регулярное выражение «не лучший способ» достичь цели. Однако я нашел комментатора, который предложил превосходное регулярное выражение CSV:

var regex = @",(?=(?:[^""]*""[^""]*"")*(?![^""]*""))";
var Regex.Split(first, regex).Dump();

Результаты, примененные к строке «first», совершенно замечательны:

«This»
«Is, A,Record"
"Что ""не может"", говорят,"
""
_
"быть"
правильно
"разобранным"
вообще

Было бы неплохо, если бы кавычки были очищены, но я могу легко справиться с этим на этапе постобработки. В противном случае этот подход можно использовать для синтаксического анализа строк образцов "first" и "second" при условии, что регулярное выражение соответствующим образом изменено для символов тильды и вертикальной черты. Отлично!

Но настоящая проблема связана с многострочными критериями. Прежде чем регулярное выражение можно будет применить к строке, я должен прочитать полную логическую «строку» из файла. К сожалению, я не знаю, сколько физических строк нужно прочитать, чтобы завершить логическую строку, если только у меня нет регулярного выражения/машины состояний.

Таким образом, это превращается в проблему «курицы и яйца».Моим лучшим вариантом было бы прочитать весь файл в память как одну гигантскую строку и позволить регулярному выражению отсортировать несколько строк (я не проверял, может ли приведенное выше регулярное выражение справиться с этим). Если у меня есть 10-гигабайтный файл, это может быть немного ненадежно.

Переходим к следующему варианту.

TextFieldParser

Три строки кода сделают проблему с этой опцией очевидной:

var reader = new Microsoft.VisualBasic.FileIO.TextFieldParser(stream);
reader.Delimiters = new string[] { @"|" };
reader.HasFieldsEnclosedInQuotes = true;

Конфигурация Delimiters выглядит хорошо. Однако «HasFieldsEnclosedInQuotes» — это «игра окончена». Я ошеломлен тем, что разделители настраиваются произвольно, но, напротив, у меня нет другого параметра квалификатора, кроме цитат. Помните, мне нужна возможность настройки над квалификатором текста. Итак, еще раз, если кто-то не знает трюк с настройкой TextFieldParser, игра окончена.

OLEDB

Коллега сказал мне, что у этой опции есть два серьезных недостатка. Во-первых, у него ужасная производительность для больших (например, 10 гигабайт) файлов. Во-вторых, как мне сказали, он угадывает типы входных данных, а не позволяет вам указать. Фигово.

ПОМОЩЬ

Итак, я хотел бы узнать факты, в которых я ошибся (если таковые имеются), и другие варианты, которые я упустил. Возможно, кто-то знает способ заставить TextFieldParser использовать произвольный разделитель. И, может быть, OLEDB решил заявленные проблемы (или, возможно, никогда их не было?).

Что скажешь?

задан Brent Arias 9 March 2012 в 23:10

0 ответов

Другие вопросы по тегам:

.net parsing c#

Параметры синтаксического анализа CSV с помощью .NET [закрыто]

0 ответов

Похожие вопросы: