Определить равный в scala [duplicate]

df.filter($"state" like "T%%") для сопоставления с образцом

df.filter($"state" === "TX") или df.filter("state = 'TX'") для равенства

Чтобы получить отрицание, сделайте это ...

df.filter(not( ..expression.. ))

например

df.filter(not($"state" === "TX"))

Вы должны использовать where, select - это проекция, которая возвращает вывод инструкции, поэтому вы получаете логические значения. where - это фильтр, который сохраняет структуру фрейма данных, но сохраняет только данные, в которых работает фильтр.

В той же строке, хотя в документации вы можете записать это тремя различными способами

// The following are equivalent:
peopleDf.filter($"age" > 15)
peopleDf.where($"age" > 15)
peopleDf($"age" > 15)

Мы можем написать несколько условий Filter / where в Dataframe.

Например:

table1_df
.filter($"Col_1_name" === "buddy")  // check for equal to string
.filter($"Col_2_name" === "A")
.filter(not($"Col_2_name".contains(" .sql")))  // filter a string which is    not relevent
.filter("Col_2_name is not null")   // no null filter
.take(5).foreach(println)