sqlite или mysql для больших наборов данных

Я работаю с большими наборами данных (десятки миллионов записей, иногда сотни миллионов), и хочу использовать программу базы данных, которая хорошо связывается с R. Я пытаюсь выбрать между mysql и sqlite. Данные статичны, но мне нужно выполнить множество запросов.

В этой ссылке на справку sqlite говорится, что:

«При размере страницы по умолчанию 1024 байта, база данных SQLite ограничена размером до 2 терабайт (241 байт). И даже если она может обрабатывать большие базы данных, SQLite хранит всю базу данных в одном файле на диске и во многих файловых системах. ограничьте максимальный размер файлов чем-то меньшим, чем это.Так что, если вы рассматриваете базы данных такого размера, вам следует рассмотреть возможность использования механизма базы данных клиент / сервер, который распределяет свое содержимое по нескольким дисковым файлам и, возможно, по нескольким томам. "

Я не совсем понимаю, что это значит. Когда я экспериментировал с mysql и sqlite, мне казалось, что mysql работает быстрее, но я не построил очень строгих тестов скорости. Мне интересно, является ли mysql лучшим выбором для меня, чем sqlite, из-за размера моего набора данных. Приведенное выше описание, кажется, предполагает, что это может быть так, но мои данные не где-то около 2 ТБ.

Было обсуждение stackoverflow , которое касалось этого и ссылалось на ту же страницу информации sqlite, но он не совсем отвечал на этот вопрос.

Я был бы признателен за любое понимание этого ограничения максимального размера файла из файловой системы и того, как это может повлиять на скорость индексирования таблиц и выполнения запросов. Это действительно могло помочь мне в решении, какую базу данных использовать для анализа.

6
задан Community 23 May 2017 в 12:20
поделиться