Имел аналогичную проблему для osx и Nexus 5 (A6.0.1). Я получил всплывающее окно авторизации и подтвердил его, несмотря на то, что Android Studio и другие IDE могли подключиться к устройству.
Оказалось, что в моем Nexus (с корнем) отсутствовали файлы ключей.
Нажмите клавишу с компьютера на Android-устройство:
cd ~/.android && adb push adbkey.pub /data/misc/adb/adb_keys