Как лучше выделять и использовать память, когда программа обходит и сообщает о деталях файловой системы

У меня есть программа, которая считывает все имена файлов/директорий файловой системы, размер и т.д. и заполняет их в древовидной структуре данных. Как только это будет сделано, она будет генерировать отчет.

Я хочу написать программу для сбора и последующего отчета об этих данных, используя память наиболее эффективным способом и не превышая пространство кучи.

Меня беспокоит, что если файловая система имеет много файлов и dirs., то она будет потреблять много памяти и в конце концов может закончиться (malloc() начнет сбоить).

В конечном счете это реальное потребление памяти, есть ли какие-нибудь методы/техники, чтобы преодолеть это?