Выбор базы данных для большого объема данных?
В вашем коде установите navigationVersion = '2.0.0' в порядке
6 ответов
Я использовал PostgreSQL в среде, где мы видим новые строки 100K-2M в день, самый добавленный к единственной таблице. Однако те строки имеют тенденцию быть уменьшенными до образцов и затем удаленными в течение нескольких дней, таким образом, я не могу говорить о долгосрочной производительности с больше, чем ~100M строками.
я нашел, что вставляют производительность, довольно разумно, особенно если Вы используете массовое копирование. Производительность запросов прекрасна, хотя выбор, который планировщик делает иногда, озадачивает меня; особенно, когда выполнение СОЕДИНЕНИЙ / СУЩЕСТВУЕТ. Наша база данных требует, чтобы довольно регулярное техобслуживание (ПЫЛЕСОСИЛО/АНАЛИЗИРОВАЛО) для поддерживания ее в рабочем состоянии гладко. Я мог избежать части этого более тщательно оптимизирующим автовакуумом и другими настройками, и это не большая часть проблемы, если Вы не делаете, многие УДАЛЯЮТ. В целом, существуют некоторые области, где я чувствую, что более трудно настроить и поддержать, чем это должно быть.
я не использовал Oracle и MySQL только для небольших наборов данных, таким образом, я не могу сравнить производительность. Но PostgreSQL делает работа прекрасный для больших наборов данных.
У Вас есть копия" Инструментарий Хранилища данных "?
предложение там должно сделать следующее.
-
Отдельные факты (измеримый, числовой) значения от размеров, которые квалифицируют или организуют те факты. Одна большая таблица не является действительно лучшей идеей. Это - таблица фактов, которая доминирует над дизайном плюс много маленьких таблиц измерений, чтобы позволить "нарезать и ставить на карту" факты.
-
Сохраняют факты в простых плоских файлах, пока Вы не хотите сделать создание отчетов стиля SQL. Не создавайте и создавайте резервную копию базы данных. Создайте и создайте резервную копию файлов; загрузите базу данных только для отчетов, которые необходимо сделать от SQL.
-
, Где возможно создают сводные или дополнительные витрины данных для анализа. В некоторых случаях Вы, возможно, должны загрузить все это в базу данных. Если Ваши файлы отражают Ваш дизайн таблицы, все базы данных имеют объемные инструменты загрузчика, которые могут заполнить и индексировать таблицы SQL из файлов.
Объем данных (записи на 200 м в год) не является действительно большим и должен пойти с любым стандартным механизмом базы данных.
случай еще легче, если Вам не нужны репортажи с места события на нем. Я зеркально отразил бы и предсовокупные данные по некоторому другому серверу в, например, ежедневно обрабатывал бы в пакетном режиме. Как предложенный S.Lott, Вы хотели бы читать на организации хранилищ данных.
Google База данных BigTable и Hadoop является двумя механизмами базы данных, которые могут обработать большой объем данных.
Некоторые интересные моменты относительно Google BigTable там...
Bigtable По сравнению с DBMS
- Быстрый уровень Запроса
- Никакие Соединения, Никакая поддержка SQL , ориентированный на столбец на базу данных
- Использование один Bigtable вместо того, чтобы иметь много нормализованных таблиц
- Даже не Находится в 1 нФ в традиционном представлении
- Разработан для поддержки исторического поля метки времени запросов =>, на что эта веб-страница вчера была похожа?
- Сжатие данных является более легким †“строки, редок
, я выделил Joins и No SQL Support, поскольку Вы упомянули, что необходимо будет выполнить ряд отчетов. Я не знаю, сколько (если таковые имеются) не наличие abililty, чтобы сделать это будет иметь на Вас выполняющий отчеты, если Вы, где использовать это.
Мы используем Firebird для действительно огромной базы данных (сохраняющий данные больше 30 лет теперь), и это масштабируется очень хорошо.
лучшее об этом - то, что у Вас есть свойства для конфигурирования, но в отличие от этого т.е. Oracle Вы устанавливаете его, и это работает очень хорошо без потребности начать настраивать, прежде чем можно будет использовать его.