Python загружает 2 ГБ текстового файла в память

В Python 2.7, когда я загружаю все данные из текстового файла размером 2,5 ГБ в память для более быстрой обработки, вот так:

>>> f = open('dump.xml','r')
>>> dump = f.read()

я получил следующая ошибка:

Python(62813) malloc: *** mmap(size=140521659486208) failed (error code=12)
*** error: can't allocate region
*** set a breakpoint in malloc_error_break to debug
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
MemoryError

Почему Python пытался выделить 140521659486208байт памяти для 2563749237байт данных? Как исправить код, чтобы он загружал все байты?

У меня свободно около 3 ГБ оперативной памяти. Файл представляет собой XML-дамп Викисловаря.

6
задан pckben 22 June 2012 в 15:14
поделиться