В сочетании с -Xmx512M используйте -d64, чтобы убедиться, что вы используете 64-разрядную виртуальную машину. На 64-битной машине я точно думал, что у меня 64-разрядная виртуальная машина, но нет. После установки 64-битной Java работает опция -d64 и -Xmx позволяет значительно увеличить объем памяти.
java -d64 -Xmx512M mypackage.Test