Не работает ли регистрация в .NET Core 2.0?

вам необходимо предоставить опцию mergeSchema = true. как показано ниже (это от 1.6.0):

val dataframe = sqlContext.read.option("mergeSchema", "true").parquet("file:///your/path/data=jDD")

Это будет считывать все файлы паркета в dataframe, а также создает столбцы год, месяц и день в данных данных.

Ссылка: https://spark.apache.org/docs/1.6.0/sql-programming-guide.html#schema-merging