Мне очень нравится конструкция
for (line <- Source fromFile inputPath getLines) {doSomething line}
для перебора файла в scala, и мне интересно, есть ли способ использовать аналогичную конструкцию для перебора строк во всех файлах в каталоге.
Важным ограничением здесь является то, что все файлы в сумме занимают столько места, что может возникнуть переполнение кучи. (думаю, десятки ГБ, поэтому увеличение размера кучи не вариант. )В качестве временного решения на данный момент я собираю все вместе в один файл и использую приведенную выше конструкцию, которая работает b/c лени.
Суть в том, что это, кажется, поднимает такие вопросы, как... могу ли я объединить две (сотни )ленивых итераторов и получить действительно большой, очень ленивый?