Считайте большие файлы в Java

Question

Считайте большие файлы в Java

Мне нужен совет от кого-то, кто знает Java очень хорошо и проблемы памяти. У меня есть большой файл (что-то как 1.5 ГБ), и я должен сократить этот файл во многих (100 маленьких файлов, например) меньшие файлы.

Я обычно знаю, как сделать это (использующий a BufferedReader), но я хотел бы знать, есть ли у Вас совет относительно памяти или подсказки, как сделать это быстрее.

Мой файл содержит текст, это не является двоичным, и у меня есть приблизительно 20 символов на строку.

59

java memory-management file

задан Sergey Brunov 18 September 2016 в 17:23

8 ответов

Для экономии памяти не храните / не дублируйте данные в памяти без надобности (т. е. не назначайте их переменным вне цикла ). Просто обработайте вывод немедленно , как только поступит ввод.

На самом деле не имеет значения, используете вы BufferedReader или нет. Это не будет стоить значительно больше памяти, как некоторые неявно предполагают. В лучшем случае это всего лишь несколько процентов от производительности. То же самое и при использовании NIO. Это только улучшит масштабируемость, но не использование памяти. Это станет интересно только тогда, когда в одном файле работают сотни потоков.

Просто прокрутите файл, запишите каждую строку сразу в другой файл по мере чтения, посчитайте строки и, если он достигнет 100, переключитесь на следующий файл и так далее.

Начальный пример:

String encoding = "UTF-8";
int maxlines = 100;
BufferedReader reader = null;
BufferedWriter writer = null;

try {
    reader = new BufferedReader(new InputStreamReader(new FileInputStream("/bigfile.txt"), encoding));
    int count = 0;
    for (String line; (line = reader.readLine()) != null;) {
        if (count++ % maxlines == 0) {
            close(writer);
            writer = new BufferedWriter(new OutputStreamWriter(new FileOutputStream("/smallfile" + (count / maxlines) + ".txt"), encoding));
        }
        writer.write(line);
        writer.newLine();
    }
} finally {
    close(writer);
    close(reader);
}

34