Если вы все еще не можете определить способ преобразования Dataframe в JSON, вы можете использовать to_json или toJSON встроенные функции Spark.
Дайте мне знать, если у вас есть образец Dataframe и формат JSON для преобразования.