Сколько памяти у вас на компьютере? Вы можете столкнуться с проблемами GC.
Самое лучшее, что нужно сделать, это обработать данные по одной строке за раз, если это возможно. Не загружайте его в массив. Загрузите то, что вам нужно, обработайте, запишите и продолжите.
Это уменьшит объем памяти и по-прежнему будет использовать то же количество файлов IO