В вашем входном файле должен быть один json-объект для каждой строки, см. http://spark.apache.org/docs/latest/api/python/pyspark.sql.html#pyspark.sql.DataFrameReader .json
Если ваш json-файл выглядит так, он даст вам ожидаемый файл данных:
{ "a": 1, "b": 2 }
{ "a": 3, "b": 4 }
....
df.show()
+---+---+
| a| b|
+---+---+
| 1| 2|
| 3| 4|
+---+---+