База данных SQL VS. Несколько плоских файлов (тысячи небольших CSV-файлов)

Мы разрабатываем обновление для текущей системы (C++\CLI и C#). Система будет собирать небольшие (~1 Мб) объемы данных с ~10 000 устройств (в ближайшем будущем). В настоящее время они используются для сохранения данных устройства в формате CSV (таблица) и хранения всего этого в широкой структуре папок.

Данные только вставляются (создаются/добавляются в файл, создаются папки) и никогда не обновляются/удаляются. Обработка данных выполняется путем чтения многих CSV во внешнюю программу (например, Matlab). В основном используется для статистического анализа.

Существует возможность начать сохранение этих данных в базу данных MS-SQL. Время обработки (чтение CSV во внешнюю программу) может составлять до нескольких минут.

  • Как нам выбрать, какой метод использовать?
  • Занимает ли один из методов значительно больше памяти, чем другой?
  • Приблизительно, когда чтение необработанных данных из базы данных становится быстрее, чем чтение CSV? (10 файлов, 100 файлов?...)

Буду признателен за ответы, плюсы и минусы приветствуются.

Спасибо за внимание.

5
задан Abe Miessler 21 June 2012 в 18:04
поделиться