Архитектура для аналитики базы данных

У нас есть архитектура, где мы предоставляем каждому клиенту подобные бизнес-аналитике услуги для их веб-сайта (интернет-продавец). Теперь, я должен проанализировать те данные внутренне (для алгоритмического улучшения, отслеживания производительности, и т.д....), и это потенциально довольно тяжело: у нас есть до миллионов строк / клиент / день, и я могу хотеть знать, сколько запросов мы имели в прошлом месяце, еженедельно сравненный, и т.д...., который является порядком миллиардов записей если не больше.

Путем это в настоящее время делается, довольно стандартное: ежедневные сценарии, которые сканируют базы данных и генерируют большие файлы CSV. Мне не нравится это решения по нескольким причинам:

• как типичные с теми видами сценариев, они попадают в неперезаписываемую и never-touched-again категорию
• отслеживание вещей в "в реальном времени" необходимо (у нас есть отдельный набор инструментов для запросов последних нескольких часов ATM).
• это медленно и не - "гибкий"

Хотя у меня есть некоторый опыт имея дело с огромными наборами данных для научного использования, я - полный новичок насколько традиционные RDBM идут. Кажется, что использование, ориентированное на столбец на базу данных для аналитики, могло быть решением (аналитике не нужно большинство данных, которые мы имеем в базе данных приложения), но я хотел бы знать то, что другие опции доступны для этого вида проблем.