Pandas: где здесь утечка памяти?

я столкнулся с проблемой утечки памяти, используя библиотекуpandasв python. Я создаю объекты pandas.dataframeв своем классе, и у меня есть метод, который изменяет размер фрейма данных в соответствии с моими условиями. После изменения размера фрейма данных и создания нового объекта pandas я переписываю исходный pandas.dataframe в своем классе. Но использование памяти очень велико даже после значительного уменьшения исходной таблицы. Некоторый код для краткого примера (менеджер процессов я не писал, см. диспетчер задач):

import time, string, pandas, numpy, gc
class temp_class ():

    def __init__(self, nrow = 1000000, ncol = 4, timetest = 5):

        self.nrow = nrow
        self.ncol = ncol
        self.timetest = timetest

    def createDataFrame(self):

        print('Check memory before dataframe creating')
        time.sleep(self.timetest)
        self.df = pandas.DataFrame(numpy.random.randn(self.nrow, self.ncol),
            index = numpy.random.randn(self.nrow), columns = list(string.letters[0:self.ncol]))
        print('Check memory after dataFrame creating')
        time.sleep(self.timetest)

    def changeSize(self, from_ = 0, to_ = 100):

        df_new = self.df[from_:to_].copy()
        print('Check memory after changing size')
        time.sleep(self.timetest)

        print('Check memory after deleting initial pandas object')
        del self.df
        time.sleep(self.timetest)

        print('Check memory after deleting copy of reduced pandas object')
        del df_new
        gc.collect()
        time.sleep(self.timetest)

if __name__== '__main__':

    a = temp_class()
    a.createDataFrame()
    a.changeSize()
  • Перед созданием фрейма данных у меня есть ок. 15 мб использования памяти

  • После создания - 67 мб

  • После изменения размера - 67 мб

  • После удаления исходного фрейма данных - 35 мб

  • После удаления уменьшенной таблицы - 31 мб.

16 мб?

Я использую python 2.7.2(x32) на компьютере с Windows 7 (x64), pandas. версия — 0.7.3. тупой. версия— 1.6.1

11
задан piRSquared 4 January 2017 в 23:02
поделиться