Здесь вы можете скачать унаследованную версию Java версии 6 для El Capitan: https://support.apple.com/kb/DL1572?viewlocale=en_US&locale=en_US После этого rJava пакет работает для меня.
Попробуйте следующее:
Pattern p = Pattern.compile("[[\\p{Punct}&&[^\\[\\]]]\\s]+");
Символы [
и ]
считаются символами пунктуации. Это регулярное выражение исключит их при разделении строки.