Считайте большой объем данных из файла в Java
У меня есть текстовый файл, который содержит 1 000 002 числа в следующем формировании:
123 456
1 2 3 4 5 6 .... 999999 100000
Теперь я должен считать те данные и выделить их int переменные (самые первые два числа) и все остальные (1 000 000 числа) к массиву int[].
Это не трудная задача, но - это ужасно медленный.
Моя первая попытка была java.util.Scanner:
Scanner stdin = new Scanner(new File("./path"));
int n = stdin.nextInt();
int t = stdin.nextInt();
int array[] = new array[n];
for (int i = 0; i < n; i++) {
array[i] = stdin.nextInt();
}
Это работает, как исключено, но требуется приблизительно 7 500 мс для выполнения. Я должен выбрать те данные в максимум нескольких сотнях миллисекунд.
Затем я попробовал java.io.BufferedReader:
Используя BufferedReader.readLine() и String.split() Я вложил те же результаты приблизительно 1 700 мс, но это - все еще слишком многие.
Как я могу считать тот объем данных через меньше ту 1 секунду? Конечный результат должен быть равен:
int n = 123;
int t = 456;
int array[] = { 1, 2, 3, 4, ..., 999999, 100000 };
Согласно ответу trashgod:
StreamTokenizer решение быстро (берет приблизительно 1 400 мс), но это все еще слишком медленно:
StreamTokenizer st = new StreamTokenizer(new FileReader("./test_grz"));
st.nextToken();
int n = (int) st.nval;
st.nextToken();
int t = (int) st.nval;
int array[] = new int[n];
for (int i = 0; st.nextToken() != StreamTokenizer.TT_EOF; i++) {
array[i] = (int) st.nval;
}
PS. Нет никакой потребности в проверке. Я на 100% уверен те данные в ./test_grz файл корректен.
6 ответов
Спасибо за каждый ответ, но я уже нашел метод, который соответствует моим критерии:
BufferedInputStream bis = new BufferedInputStream(new FileInputStream("./path"));
int n = readInt(bis);
int t = readInt(bis);
int array[] = new int[n];
for (int i = 0; i < n; i++) {
array[i] = readInt(bis);
}
private static int readInt(InputStream in) throws IOException {
int ret = 0;
boolean dig = false;
for (int c = 0; (c = in.read()) != -1; ) {
if (c >= '0' && c <= '9') {
dig = true;
ret = ret * 10 + c - '0';
} else if (dig) break;
}
return ret;
}
Для чтения 1 млн целых чисел требуется всего около 300 мс !
Можно переформатировать ввод так, чтобы каждое целое число находилось в отдельной строке (вместо одной длинной строки с одним миллионом целых чисел), вы должны увидеть значительно улучшена производительность при использовании Integer.parseInt (BufferedReader.readLine ()) за счет более интеллектуальной буферизации по строкам и отсутствия необходимости разбивать длинную строку на отдельный массив строк.
Редактировать: Я проверил это и смог прочитать вывод, созданный seq 1 1000000 , в массив int менее чем за полсекунды, но, конечно, это зависит от на автомате.
Я бы расширил FilterReader и проанализировал строку, читаемую в методе read (). Попросите метод getNextNumber возвращать числа. Код оставлен в качестве упражнения для читателя.
StreamTokenizer может быть быстрее, как предлагается здесь .
Вы можете уменьшить время получения результата StreamTokenizer с использованием BufferedReader :
Reader r = null;
try {
r = new BufferedReader(new FileReader(file));
final StreamTokenizer st = new StreamTokenizer(r);
...
} finally {
if (r != null)
r.close();
}
Кроме того, не забудьте закрыть файлы, как я показал здесь.
Вы также можете сэкономить немного времени, используя специальный токенизатор только для ваших целей:
public class CustomTokenizer {
private final Reader r;
public CustomTokenizer(final Reader r) {
this.r = r;
}
public int nextInt() throws IOException {
int i = r.read();
if (i == -1)
throw new EOFException();
char c = (char) i;
// Skip any whitespace
while (c == ' ' || c == '\n' || c == '\r') {
i = r.read();
if (i == -1)
throw new EOFException();
c = (char) i;
}
int result = (c - '0');
while ((i = r.read()) >= 0) {
c = (char) i;
if (c == ' ' || c == '\n' || c == '\r')
break;
result = result * 10 + (c - '0');
}
return result;
}
}
Не забудьте использовать для этого BufferedReader . Этот настраиваемый токенизатор предполагает, что входные данные всегда полностью действительны и содержат только пробелы, новые строки и цифры.
Если вы много читаете эти результаты, и эти результаты не сильно меняются, вам, вероятно, следует сохранить массив и отслеживать время последнего изменения файла. Затем, если файл не изменился, просто используйте кешированную копию массива, и это значительно ускорит результаты. Например:
public class ArrayRetriever {
private File inputFile;
private long lastModified;
private int[] lastResult;
public ArrayRetriever(File file) {
this.inputFile = file;
}
public int[] getResult() {
if (lastResult != null && inputFile.lastModified() == lastModified)
return lastResult;
lastModified = inputFile.lastModified();
// do logic to actually read the file here
lastResult = array; // the array variable from your examples
return lastResult;
}
}
Сколько памяти у вас в компьютере? Вы можете столкнуться с проблемами GC.
Лучше всего обрабатывать данные по одной строке, если это возможно. Не загружайте его в массив. Загрузите то, что вам нужно, обработайте, запишите и продолжайте.
Это уменьшит объем используемой памяти и по-прежнему будет использовать то же количество файлового ввода-вывода