Если вы явно не проверяете числа в текстовом поле, в любом случае лучше использовать
int result=0;
if(int.TryParse(textBox1.Text,out result))
. Теперь, если результат будет успешным, вы можете продолжить свои вычисления.
Получение rJava для распознавания кажется немного сложным. Похоже, что R может пытаться найти его не в том месте, и в этом случае вы можете попробовать решения аналогичного вопроса Ошибка пути Java при загрузке пакета rJava или комментарии к Проблема при подключении rJava в R Studio
В зависимости от того, для чего вам нужна библиотека xlsx, серия пакетов tidyverse имеет пакеты для чтения и записи файлов xlsx, которые не зависят от Java, см. здесь