Вы должны использовать where
, select
- это проекция, которая возвращает вывод инструкции, поэтому вы получаете логические значения. where
- это фильтр, который сохраняет структуру фрейма данных, но сохраняет только данные, в которых работает фильтр.
В той же строке, хотя в документации вы можете записать это тремя различными способами
// The following are equivalent:
peopleDf.filter($"age" > 15)
peopleDf.where($"age" > 15)
peopleDf($"age" > 15)