Потребление памяти модулем полки Python

Мне поручили прочитать файл. txt, который является журналом различных событий и записывает некоторые из этих событий в словарь.

Проблема в том, что размер файла иногда может превышать 3 ГБ. Это означает, что словарь становится слишком большим, чтобы поместиться в основную память. Кажется, что Shelve - хороший способ решить эту проблему. Однако, поскольку я буду постоянно изменять словарь, у меня должна быть включена опция обратной записи . Это то, что меня беспокоит - в руководстве говорится, что это замедлит процесс чтения / записи и потребует больше памяти, но я не могу найти статистику о том, как это влияет на скорость и память.

Может ли кто-нибудь уточнить, насколько это влияет на скорость чтения / записи и память, чтобы я мог решить, использовать ли опцию обратной записи или жертвовать некоторой читабельностью ради эффективности кода?

Спасибо

6
задан taleinat 2 May 2015 в 00:35
поделиться