В Spark 2.2+ вы можете прочитать json-файл многострочного файла, используя следующую команду:
val dataframe = spark.read.option("multiline",true).json( " filePath ")
, если на строке есть json-объект, тогда
val dataframe = spark.read.json(filepath)