Использование:
Sys.setenv(JAVA_HOME='...path to JRE...')
, например
Sys.setenv(JAVA_HOME='C:\\Program Files\\Java\\jdk1.7.0_51\\jre')
Неправильная переменная среды.