Система.NET. OutOfMemoryException на Строке. Разделение () файла CSV на 120 МБ

Не катите свой собственный парсер, если вам не нужно. Мне повезло с этим:

Быстрый CSV Reader

Если ничего другого, вы можете заглянуть под капот и посмотреть, как это делает кто-то другой.

Если весь файл считан в строку, вам, вероятно, следует использовать StringReader .

StringReader reader = new StringReader(fileContents);
string line;
while ((line = reader.ReadLine()) != null) {
    // Process line
}

Это должно быть примерно так же, как потоковая передача из файла с разницей что содержимое уже находится в памяти.

Редактировать после тестирования

Попытка выше с файлом 140 МБ, где обработка состояла из увеличения переменной длины с помощью line.Length. Это заняло около 1,6 секунд на моем компьютере. После этого я попытался сделать следующее:

System.IO.StreamReader reader = new StreamReader("D:\\test.txt");
long length = 0;
string line;
while ((line = reader.ReadLine()) != null)
    length += line.Length;

Результат составил около 1 секунды.

Конечно, ваш пробег может отличаться, особенно если вы читаете с сетевого диска или ваша обработка занимает достаточно много времени для поиска жесткого диска где-то еще. Но также, если вы используете FileStream для чтения файла и не буферизуете. StreamReader обеспечивает буферизацию, которая значительно улучшает чтение.

Как говорят другие авторы, OutOfMemory заключается в том, что он не может найти непрерывный кусок памяти запрошенного размера.

Тем не менее, вы говорите, что выполнение разбора строка за строкой было в несколько раз быстрее, чем чтение всего сразу и последующая обработка. Это имеет смысл, только если вы придерживались наивного подхода блокирования чтения, например (в псевдокоде):

while(! file.eof() )
{
    string line = file.ReadLine();
    ProcessLine(line);
}

Вместо этого вы должны использовать потоковую передачу, где ваш поток заполняется вызовами Write () из альтернативного потока, который читает файл, поэтому чтение файла не блокируется тем, что делает ваша ProcessLine (), и наоборот.

Вам не хватает памяти в стеке, а не в куче.

Вы можете попробовать перефакторизовать ваше приложение так, чтобы обрабатывать ввод в более управляемых «порциях» данных, а не обрабатывать 120 МБ за один раз.

Возможно, вам не удастся выделить один объект с таким количеством смежной памяти, и вы не должны этого ожидать. Потоковая передача является обычным способом сделать это, но вы правы, что это может быть медленнее (хотя я не думаю, что обычно оно должно быть намного медленнее).

В качестве компромисса вы можете попробовать прочитать большую часть файла (но все же не целиком) сразу с помощью функции, подобной StreamReader.ReadBlock () , и обрабатывая каждую часть по очереди.

Вероятно, вам следует попробовать CLR-профилировщик , чтобы определить фактическое использование памяти. Возможно, существуют ограничения памяти, отличные от памяти вашей системы. Например, если это приложение IIS, ваша память ограничена пулами приложений.

С этой информацией профиля вы можете обнаружить, что вам нужно использовать более масштабируемый метод, такой как потоковая передача CSV-файла, который вы изначально пытались выполнить.

Я согласен со всеми здесь, вам нужно использовать потоковую передачу.

Я не знаю, сказал ли кто-нибудь до сих пор, но вам стоит взглянуть на метод расширения.

И я точно знаю, что лучший метод разделения CSV на .NET / CLR - этот

Этот метод сгенерировал мне вывод XML +10 ГБ из входного CSV, включая расширенные входные фильтры и все такое, быстрее, чем все, что я видел.

Вы должны прочитать чанк в буфер и работать над ним. Затем прочитать другой кусок и так далее.

Существует множество библиотек, которые эффективно выполнят это за вас. Я использую одну из них под названием CsvHelper. Есть много крайних случаев, которые нужно обработать, например, когда запятая или конец строки находится в середине поля.