Я получил ту же ошибку и разрешил это путем настройки в run.conf.bat
Запустите JVM с настройкой run.conf.bat в Jboss5x
Если бесплатный память недоступна AS, которую вы передаете в инструкции, пожалуйста, внесите изменения в run.conf.bat
set "JAVA_OPTS=-Xms512m -Xmx512m -XX:MaxPermSize=256m