Обработка больших текстовых файлов

Мне нужно реализовать отложенную загрузку в системе Mathematica. У меня есть текстовый CSV-файл 600 МБ, который мне нужно обработать. Этот файл содержит множество дублированных записей:

1;0;0;13;6
1;0;0;13;6
..........
2;0;0;13;6
2;0;0;13;6
..........
etc.

Поэтому вместо того, чтобы загружать их все в память, я хотел бы создать список, содержащий записи и количество раз, когда эта запись встречалась в файле:

{{10000,{1,0,0,13,6}}, {20000,{2,0,0,13,6}}, ...}

Я не мог ' Я не могу найти способ сделать это с помощью функции импорта. Я ищу что-то вроде

Import["my_file.csv", "CSV", myProcessingFunction]

, где myProcessingFunction будет принимать по одной записи за раз и создавать набор данных. Можно ли сделать это с помощью импорта или любой другой функции Mathematica?

6
задан Max 26 November 2010 в 21:05
поделиться