Лучшая база данных ключей / значений на языке C для огромного количества записей

Я пытаюсь создать базу данных ключ / значение с 300 000 000 пар ключ / значение по 8 байтов каждая (как для ключа, так и для значения) . Требуется наличие очень быстрого механизма ключ / значение, который может запрашивать около 500 000 записей в секунду.

Я пробовал BDB, Tokyo DB, Kyoto DB и levelDB, и все они очень плохо работают, когда дело доходит до баз данных такого размера. . (Их производительность даже близко не соответствует их тестовой скорости в 1 000 000 записей.)

Я не могу хранить свою базу данных в памяти из-за аппаратных ограничений (32-битное программное обеспечение), поэтому о memcached не может быть и речи.

Я не могу использовать также внешнее серверное программное обеспечение (только модуль базы данных), и нет необходимости в многопользовательской поддержке. Конечно, серверное программное обеспечение в любом случае не может обрабатывать 500 000 запросов в секунду с одной конечной точки, так что это не учитывает Redis, Tokyo Tyrant и т. Д.

13
задан Ron Reiter 29 August 2011 в 13:30
поделиться