когда Python выделяет новую память для идентичных строк?

Две строки Python с теми же символами, == b, могут совместно использовать память, идентификатор (a) == идентификатор (b), или могут быть в памяти дважды, идентификаторе (a)! = идентификатор (b). Попробовать

ab = "ab"
print id( ab ), id( "a"+"b" )

Здесь Python распознает, что недавно созданный "a" + "b" уже совпадает с "ab" в памяти - не плохо.

Теперь считайте N-длинный-список имен состояния ["Аризоной", "Аляской", "Аляской", "Калифорнией"...] (N ~ 500000 в моем случае).
Я вижу, что 50 других идентификаторов () s ⇒ каждая строка "Аризона"... хранятся только однажды, прекрасные.
НО напишите список к диску и читайте, он въезжает задним ходом снова: "тот же" список теперь имеет другой идентификатор N () s, путь больше памяти, посмотрите ниже.

Каким образом - кто-либо может объяснить, что Python представляет выделение памяти в виде строки?

""" when does Python allocate new memory for identical strings ?
    ab = "ab"
    print id( ab ), id( "a"+"b" )  # same !
    list of N names from 50 states: 50 ids, mem ~ 4N + 50S, each string once
    but list > file > mem again: N ids, mem ~ N * (4 + S)
"""

from __future__ import division
from collections import defaultdict
from copy import copy
import cPickle
import random
import sys

states = dict(
AL = "Alabama",
AK = "Alaska",
AZ = "Arizona",
AR = "Arkansas",
CA = "California",
CO = "Colorado",
CT = "Connecticut",
DE = "Delaware",
FL = "Florida",
GA = "Georgia",
)

def nid(alist):
    """ nr distinct ids """
    return "%d ids  %d pickle len" % (
        len( set( map( id, alist ))),
        len( cPickle.dumps( alist, 0 )))  # rough est ?
# cf http://stackoverflow.com/questions/2117255/python-deep-getsizeof-list-with-contents

N = 10000
exec( "\n".join( sys.argv[1:] ))  # var=val ...
random.seed(1)

    # big list of random names of states --
names = []
for j in xrange(N):
    name = copy( random.choice( states.values() ))
    names.append(name)
print "%d strings in mem:  %s" % (N, nid(names) )  # 10 ids, even with copy()

    # list to a file, back again -- each string is allocated anew
joinsplit = "\n".join(names).split()  # same as > file > mem again
assert joinsplit == names
print "%d strings from a file:  %s" % (N, nid(joinsplit) )

# 10000 strings in mem:  10 ids  42149 pickle len  
# 10000 strings from a file:  10000 ids  188080 pickle len
# Python 2.6.4 mac ppc

Добавленный 25 января:
Существует два вида строк в памяти Python (или любая программа):

• Ustrings, в Ucache уникальных строк: они сохраняют память и делают == b быстро, если оба находятся в Ucache
• Ostrings, другие, которые могут быть сохранены любое количество раз.

intern(astring) помещает astring в Ucache (Alex +1); кроме этого мы не знаем ничего вообще о том, как Python перемещает Ostrings в Ucache - как сделал "a" + "b", входят, после "ab"? ("Строки из файлов" бессмысленны - нет никакого способа знать.)
Короче говоря, Ucaches (могут быть несколько), остаются темными.

Историческая сноска: SPITBOL uniquified все строки приблизительно 1970.