Мы разрабатываем обновление для текущей системы (C++\CLI и C#). Система будет собирать небольшие (~1 Мб) объемы данных с ~10 000 устройств (в ближайшем будущем). В настоящее время они используются для сохранения данных устройства в формате CSV (таблица) и хранения всего этого в широкой структуре папок.
Данные только вставляются (создаются/добавляются в файл, создаются папки) и никогда не обновляются/удаляются. Обработка данных выполняется путем чтения многих CSV во внешнюю программу (например, Matlab). В основном используется для статистического анализа.
Существует возможность начать сохранение этих данных в базу данных MS-SQL. Время обработки (чтение CSV во внешнюю программу) может составлять до нескольких минут.
Буду признателен за ответы, плюсы и минусы приветствуются.
Спасибо за внимание.