Это не должно быть проблемой с 64-разрядной ОС (и машина, которая имеет так много памяти).
, Если malloc не может справиться тогда, ОС, конечно, обеспечит API, которые позволяют Вам выделять память непосредственно. В соответствии с Windows можно использовать VirtualAlloc API.
Когда у нас возникала эта проблема, обычно это была одна из следующих ошибок: