Я столкнулся с этим при использовании javac, и он, похоже, не забирает параметры командной строки,
-bash-3.2$ javac -Xmx256M HelloWorldApp.java
Error occurred during initialization of VM
Could not reserve enough space for object heap
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.
, поэтому решение здесь так установлено _JAVA_OPTIONS
-bash-3.2$ export _JAVA_OPTIONS="-Xmx256M"
-bash-3.2$ javac HelloWorldApp.java
Picked up _JAVA_OPTIONS: -Xmx256M
И это прекрасно компилируется.
Это происходит со мной на машинах с большим количеством баранов, но с меньшими размерами памяти. Java решает выделить большую кучу, потому что она обнаруживает барабан в машине, но ему не разрешено выделять его из-за ulimits.