Выражение не может содержать лямбда-выражения

UPDATE: Предложите использовать Dataframes, плюс что-то вроде ... .write.mode(SaveMode.Overwrite) ....

Для более старых версий попробуйте

yourSparkConf.set("spark.hadoop.validateOutputSpecs", "false")
val sc = SparkContext(yourSparkConf)

В 1.1.0 вы можете установить настройки conf с помощью spark-submit script с флагом -conf.

ПРЕДУПРЕЖДЕНИЕ. Согласно @piggybox, в Spark есть ошибка, в которой она будет только перезаписывать файлы, необходимые для записи файлов part-, любых других файлов будет оставлен неуправляемым.