Чтение/запись объекта NetworkX Graph

Я пытаюсь иметь дело со сверхмассивным объектом NetworkX Graph с сотнями миллионов узлов.Я хотел бы иметь возможность записать его в файл, чтобы не потреблять всю память моего компьютера. Однако мне нужно постоянно выполнять поиск среди существующих узлов, обновлять ребра и т. д.

Есть ли для этого хорошее решение? Я не уверен, как это будет работать с любым из форматов файлов, представленных на http://networkx.lanl.gov/reference/readwrite.html

Единственное решение, которое я могу придумать, это хранить каждый узел в виде отдельного файла со ссылками на другие узлы в файловой системе - таким образом, открытие одного узла для проверки не перегружает память. Существует ли существующая файловая система для больших объемов данных (например, PyTables), чтобы сделать это без написания собственного шаблонного кода?

9
задан ejang 14 June 2012 в 00:40
поделиться