Короткий ответ заключается в том, что в стандартной Java нет прямого эквивалента 'isatty'. Там был RFE для чего-то подобного в базе данных Java Bug с 1997 года, но он имел только одно незначительное голосование.
Теоретически вы могли бы реализовать «isatty» используя магию JNI. Но это создает всевозможные потенциальные проблемы. Я даже не подумал бы о том, чтобы сделать это сам ...
1 - Голосование за ошибки Java, которые должны быть исправлены, исчезло примерно в то время, когда Oracle заняла Sun.