Установка опции fmt в numpy.savetxt

Вы превысили максимальный размер кучи своей JVM. Это зависит как от JVM, так и от ОС. В большинстве 32-битных систем максимальное значение будет 2 ГБ, независимо от доступной физической памяти.