Существует ли способ произвести чистку некоторых файлов от истории мерзавца?

Вы получаете исключение ошибки SyntaxError, потому что у Python нет оператора &&. Он имеет and и &, где последний является правильным выбором для создания булевых выражений на Column (| для логической дизъюнкции и ~ для логического отрицания).

Условие вы также недействительны, поскольку не учитываете приоритет оператора . & в Python имеет более высокий приоритет, чем ==, поэтому выражение должно быть заключено в скобки.

(col("Age") == "") & (col("Survived") == "0")
## Column

Функция стороны примечания when эквивалентна выражению case, а не WHEN. Тем не менее действуют те же правила. Конъюнкция:

df.where((col("foo") > 0) & (col("bar") < 0))

Дизъюнкция:

df.where((col("foo") > 0) | (col("bar") < 0))

Вы можете, конечно, определить условия отдельно, чтобы избежать скобок:

cond1 = col("Age") == "" 
cond2 = col("Survived") == "0"

cond1 & cond2