Агрегация данных — ежедневный сценарий SQL и хранилище данных

Простите меня, если это уже спрашивали (я очень мало знаю о хранилище данных/BI и еще не освоил ключевые слова) .

У меня есть таблица, которая увеличивается более чем на 100 000 строк в день, каждая строка имеет метку времени и несколько сведений об элементе (размеры, вес, цвет и т. д.). Отдельные данные могут быть полезны примерно в течение месяца, после этого периода нас интересуют только агрегированные данные. У меня есть специальное программное обеспечение, позволяющее более детально визуализировать отдельные строки, и в основном я использую PowerPivot для создания отчетов.

Я мог бы придумать SQL-запрос, который ежедневно заполнял бы новую таблицу: В котором у меня будет строка для каждого часа/элемента/партии, и я буду суммировать информацию (сумма/среднее значение/стандартное отклонение/и т. д.)

В течение дня мой сценарий будет запущен и запущен, и я смогу использовать powerpivot против этого. новый стол. И все это, оставаясь там, где мне удобно: старый добрый SQL.

Судя по тому немногому, что я собрал, читая о DataWarehouse и BI, то, что я собираюсь сделать, очень похоже на создание измерений и фактов. Поэтому мой вопрос: стоит ли продолжать исследования в этом направлении (BI) или, поскольку моя проблема относительно проста, мне лучше оставаться в реляционной базе данных.

Н.Б. Создаваемые отчеты обычно связываются с другой базой данных для получения более значимой информации. Задача, с которой Powerpivot очень хорошо справляется.