Выбор базы данных для больших данных [закрыто]

Закрыто. Этот вопрос не по теме. В настоящее время ответы не принимаются.

Хотите улучшить этот вопрос?Обновите вопрос, чтобы он соответствовал темепереполнения стека.

Закрыто 3 года назад.

У меня много текстовых файлов, их общий размер около 300Гб ~ 400Гб. Все они в этом формате

key1 value_a
key1 value_b
key1 value_c
key2 value_d
key3 value_e
....

каждая строка состоит из ключа и значения. Я хочу создать базу данных, которая позволит мне запрашивать все значения ключа. Например, когда я запрашиваю key1, возвращаются value_a, value_b и value_c.

Прежде всего, вставка всех этих файлов в базу данных является большой проблемой. Я пытаюсь вставить фрагмент размером в несколько ГБ в таблицу MySQL MyISAM с синтаксисом LOAD DATA INFILE. Но похоже, что MySQL не может использовать многоядерность для вставки данных. Это чертовски медленно. Итак, я думаю, что MySQL не является хорошим выбором для такого количества записей.

Кроме того, мне необходимо обновлять или пересоздавать базу данных периодически, еженедельно или даже ежедневно, если это возможно, поэтому для меня важна скорость вставки.

Один узел не может эффективно выполнять вычисления и вставку, чтобы быть эффективным, я думаю, что лучше выполнять вставку в разных узлах параллельно.

Например,

node1 -> compute and store 0-99999.txt
node2 -> compute and store 10000-199999.txt
node3 -> compute and store 20000-299999.txt
....

Итак, вот первые критерии.

Критерий 1. Высокая скорость вставки в распределенном пакетном режиме.

Затем, как видно из примера с текстовым файлом, лучше предоставить несколько одинаковых ключей для разных значений. Точно так же, как key1 сопоставляется с value_a/value_b/value_c в примере.

Критерий 2. Допускается использование нескольких ключей.

Затем мне нужно будет запросить ключи в базе данных. Никаких реляционных или сложных запросов на соединение не требуется, все, что мне нужно, это простые запросы по ключу/значению. Важная часть заключается в том, что несколько ключей соответствуют одному и тому же значению.

Критерий 3. Простой и быстрый запрос значения ключа.

Я знаю, что есть HBase/Cassandra/MongoDB/Redis.... и так далее, но я не знаком со всеми из них и не уверен, какой из них подходит мне. Итак, вопрос - какую базу данных использовать? Если ни один из них мне не подходит, я даже планирую собрать свой, но это требует усилий :/

Спасибо.

задан Fang-Pen Lin 5 April 2012 в 08:09

0 ответов

Другие вопросы по тегам:

bigdata database distributed mysql nosql

Выбор базы данных для больших данных [закрыто]

0 ответов

Похожие вопросы: