Если у вас есть контроль над входным файлом, и это массив объектов, вы можете решить это более легко. Упорядочивайте вывод файла с каждой записью в одной строке, например:
[
{"key": value},
{"key": value},
...
Это все еще действует JSON.
Затем используйте модуль read.js readline для их обработки по одной строке за раз.
var fs = require("fs");
var lineReader = require('readline').createInterface({
input: fs.createReadStream("input.txt")
});
lineReader.on('line', function (line) {
line = line.trim();
if (line.charAt(line.length-1) === ',') {
line = line.substr(0, line.length-1);
}
if (line.charAt(0) === '{') {
processRecord(JSON.parse(line));
}
});
function processRecord(record) {
// Process the records one at a time here!
}