Почему моя функция проверки пользователя не работает?

То, что Arrays.toString() делает, создает строковое представление каждого отдельного байта в вашем byteArray.

Пожалуйста, проверьте документацию API API массивов

To преобразуйте строку ответа обратно в исходный массив байтов, вы должны использовать split(",") или что-то другое и преобразовать его в коллекцию, а затем преобразовать каждый отдельный элемент в байт, чтобы воссоздать ваш массив байтов.