Альтернативы Pickle

Я пытаюсь сериализовать большой (~10**6 строк, каждая с ~20 значениями) список, чтобы позже использовать его сам (так что pickle's отсутствие безопасности не является проблемой).

Каждая строка списка представляет собой кортеж значений, полученных из некоторой базы данных SQL. До сих пор я видел datetime.datetime, строки, целые числа и NoneType, но в конечном итоге мне, возможно, придется поддерживать дополнительные типы данных.

Для сериализации я рассматривал pickle (cPickle), json и обычный текст, но только pickle сохраняет информацию о типе: json не может сериализовать datetime.datetime, а обычный текст имеет свои очевидные недостатки.

Тем не менее, cPickle работает довольно медленно для таких больших данных, и я ищу более быструю альтернативу.

22
задан Seanny123 2 July 2019 в 16:48
поделиться