я столкнулся с проблемой утечки памяти, используя библиотекуpandas
в python. Я создаю объекты pandas.dataframe
в своем классе, и у меня есть метод, который изменяет размер фрейма данных в соответствии с моими условиями. После изменения размера фрейма данных и создания нового объекта pandas я переписываю исходный pandas.dataframe в своем классе. Но использование памяти очень велико даже после значительного уменьшения исходной таблицы. Некоторый код для краткого примера (менеджер процессов я не писал, см. диспетчер задач):
import time, string, pandas, numpy, gc
class temp_class ():
def __init__(self, nrow = 1000000, ncol = 4, timetest = 5):
self.nrow = nrow
self.ncol = ncol
self.timetest = timetest
def createDataFrame(self):
print('Check memory before dataframe creating')
time.sleep(self.timetest)
self.df = pandas.DataFrame(numpy.random.randn(self.nrow, self.ncol),
index = numpy.random.randn(self.nrow), columns = list(string.letters[0:self.ncol]))
print('Check memory after dataFrame creating')
time.sleep(self.timetest)
def changeSize(self, from_ = 0, to_ = 100):
df_new = self.df[from_:to_].copy()
print('Check memory after changing size')
time.sleep(self.timetest)
print('Check memory after deleting initial pandas object')
del self.df
time.sleep(self.timetest)
print('Check memory after deleting copy of reduced pandas object')
del df_new
gc.collect()
time.sleep(self.timetest)
if __name__== '__main__':
a = temp_class()
a.createDataFrame()
a.changeSize()
Перед созданием фрейма данных у меня есть ок. 15 мб использования памяти
После создания - 67 мб
После изменения размера - 67 мб
После удаления исходного фрейма данных - 35 мб
После удаления уменьшенной таблицы - 31 мб.
16 мб?
Я использую python 2.7.2(x32) на компьютере с Windows 7 (x64), pandas. версия — 0.7.3. тупой. версия— 1.6.1