Какой оптимальный формат для сохранения больших объемов числовых данных (ГБ) из программы на Си?

Я физик, который обычно имеет дело с большим количеством числовых данных, генерируемых с помощью программ на Си. Обычно я храню все как столбцы в файлах ASCII, но это привело к огромным файлам. Учитывая, что я ограничен в пространстве, это проблема, и я хотел бы быть немного умнее во всем этом. Итак ...

1. Есть ли лучший формат, чем ASCII? Должен ли я использовать двоичные файлы или, возможно, какой-то другой формат какой-нибудь библиотеки?

2. Должен ли я сжимать каждый файл по отдельности или весь каталог? В любом случае, какой формат мне использовать?

Большое спасибо!