Разгрузите модуль в Python

TL/DR:

import gc, sys

print len(gc.get_objects()) # 4073 objects in memory

# Attempt to unload the module

import httplib
del sys.modules["httplib"]
httplib = None

gc.collect()
print len(gc.get_objects()) # 6745 objects in memory

ОБНОВЛЕНИЕ я связался с разработчиками Python об этой проблеме и действительно не будет возможным разгрузить модуль полностью "за следующие пять лет". (см. ссылку),

Признайте, что Python действительно не поддерживает разгрузку модулей для серьезных, фундаментальных, непреодолимых, технических проблем, в 2.x.

Во время моего недавнего поиска на memleak в моем приложении я сузил его к модулям, а именно, моя неспособность собрать "мусор" разгруженный модуль. Используя любой метод, упомянутый ниже для разгрузки модуля, оставляет тысячи объектов в памяти. Другими словами - я не могу разгрузить модуль в Python...

Остальная часть вопроса является попыткой собрать "мусор" модуль так или иначе.

Давайте попробуем:

import gc
import sys

sm = sys.modules.copy()  # httplib, which we'll try to unload isn't yet 
                         # in sys.modules, so, this isn't the source of problem

print len(gc.get_objects()) # 4074 objects in memory

Давайте сохраним копию sys.modules попытаться восстановить его позже. Так, это - базовая линия 4 074 объекта. Мы должны идеально возвратиться к этому так или иначе.

Давайте импортируем модуль:

import httplib
print len(gc.get_objects()) # 7063 objects in memory

Мы до 7K объектов немусора. Давайте попытаемся удалить httplib от sys.modules.

sys.modules.pop('httplib')
gc.collect()
print len(gc.get_objects()) # 7063 objects in memory

Ну, это не работало. Хм, но нет ли ссылка в __main__? О, да:

del httplib
gc.collect()
print len(gc.get_objects()) # 6746 objects in memory

Ура, вниз 300 объектов. Однако, никакая сигара, это - путь больше чем 4 000 исходных объектов. Давайте попытаемся восстановить sys.modules из копии.

sys.modules = sm
gc.collect()
print len(gc.get_objects()) # 6746 objects in memory

Хм, хорошо это было бессмысленно, никакое изменение.. Возможно, если мы вытираем globals...

globals().clear()
import gc # we need this since gc was in globals() too
gc.collect()
print len(gc.get_objects()) # 6746 objects in memory

местные жители?

locals().clear()
import gc # we need this since gc was in globals() too
gc.collect()
print len(gc.get_objects()) # 6746 objects in memory

Что.. что, если мы imported модуль в exec?

local_dict = {}
exec 'import httplib' in local_dict
del local_dict
gc.collect()
print len(gc.get_objects())  # back to 7063 objects in memory

Теперь, это несправедливо, это импортировало его в __main__, почему? Это никогда не должно было уезжать local_dict... Argh! Мы отступаем к полностью импортированному httplib. Возможно, если мы заменили его фиктивным объектом?

from types import ModuleType
import sys
print len(gc.get_objects())  # 7064 objects in memory

Чертовски.....!!

sys.modules['httplib'] = ModuleType('httplib')
print len(gc.get_objects())  # 7066 objects in memory

Умрите модули, умрите!!

import httplib
for attr in dir(httplib):
    setattr(httplib, attr, None)
gc.collect()
print len(gc.get_objects())  # 6749 objects in memory

Хорошо, после всех попыток, лучшее +2675 (почти +50%) от начальной точки... Это только от одного модуля... Это ничего даже не имеет большим внутри...

Хорошо, теперь серьезно, где моя ошибка? Как я разгружаю модуль и вытираю весь, его - содержание? Или являются модули Python одной гигантской утечкой памяти?

Полный источник в более простом для копирования формы: http://gist.github.com/450606