Я пытаюсь сериализовать большой (~10**6 строк, каждая с ~20 значениями) список, чтобы позже использовать его сам (так что pickle's отсутствие безопасности не является проблемой).
Каждая строка списка представляет собой кортеж значений, полученных из некоторой базы данных SQL. До сих пор я видел datetime.datetime
, строки, целые числа и NoneType, но в конечном итоге мне, возможно, придется поддерживать дополнительные типы данных.
Для сериализации я рассматривал pickle (cPickle), json и обычный текст, но только pickle сохраняет информацию о типе: json не может сериализовать datetime.datetime
, а обычный текст имеет свои очевидные недостатки.
Тем не менее, cPickle работает довольно медленно для таких больших данных, и я ищу более быструю альтернативу.