Ответа на этот вопрос PySpark
Поместить все DataFrames в список
df_list = [df1, df2, df3, df4]
finaldf = reduce(lambda x, y: x.union(y), df_list)
finaldf будет содержать все данные.
Это может быть похоже, вы можете попробовать это. Если не работает, пожалуйста, поделитесь своим файлом Gradle.
Ошибка: (30, 0) Не удалось найти метод compile () для аргументов