Свободное пространство процесса немного меньше 2 ГБ - Xmx. (предполагая, что Sun JVM). Вы должны добавить свое пространство перменства в Xmx, а затем вычесть около 150-200 МБ или около того для ядра ядра ОС. Если реальной проблемой является подлинная нехватка памяти, переключатель 3GB или сокращение пространства Xmx и PermGen должно облегчить его. Иногда, по крайней мере, в Windows, ОС просто занимает больше времени, чем JVM готова ждать, чтобы выделить поток, и проблема в том, что вы спам-поток неработает, чем заканчивается память. У вас должно быть место для нескольких тысяч потоков. Сколько у вас есть до того, как он сдался?
Также есть переключатель -Xss для управления тем, как большой стек потоков, который требует JVM. YMMV, если его изменение действительно делает что-либо в Windows или нет.