Python монотонно увеличивает использование памяти (утечка?)

Я использую этот простой код и наблюдаю монотонно увеличивающееся использование памяти. Я использую этот маленький модуль, чтобы выгружать файлы на диск. Я заметил, что это происходит со строками юникода, а не с целыми числами, что-то я делаю не так?

Когда я делаю:

>>> from utils.diskfifo import DiskFifo
>>> df=DiskFifo()
>>> for i in xrange(1000000000):
...     df.append(i)

Потребление памяти стабильно

, но когда я делаю:

>>> while True:
...     a={'key': u'value', 'key2': u'value2'}
...     df.append(a)

Он переходит в крыша. Есть подсказки? под модулем ...


import tempfile
import cPickle

class DiskFifo:
    def __init__(self):
        self.fd = tempfile.TemporaryFile()
        self.wpos = 0
        self.rpos = 0
        self.pickler = cPickle.Pickler(self.fd)
        self.unpickler = cPickle.Unpickler(self.fd)
        self.size = 0

    def __len__(self):
        return self.size

    def extend(self, sequence):
        map(self.append, sequence)

    def append(self, x):
        self.fd.seek(self.wpos)
        self.pickler.dump(x)
        self.wpos = self.fd.tell()
        self.size = self.size + 1

    def next(self):
        try:
            self.fd.seek(self.rpos)
            x = self.unpickler.load()
            self.rpos = self.fd.tell()
            return x

        except EOFError:
            raise StopIteration

    def __iter__(self):
        self.rpos = 0
        return self
9
задан piotr 28 July 2011 в 11:21
поделиться