Функция для преобразования типов R в типы Spark

1. Пожалуйста, пройдите через проект Apache Arrow, он поддерживает преобразование нативных типов в типы искры.
2. Создайте вектор текущих типов данных и сопоставьте его с искрой, используя приведение.

Это единственные два способа, о которых я могу думать прямо сейчас.

У меня есть только элементарные знания о отображении типов данных R (в частности, возвращаемых функцией class()) на типы данных Spark. Тем не менее, следующая функция работает, как я ожидаю. Надеюсь, другие найдут его полезным / улучшит его:

get_spark_data_types_from_data_frame_types <- function(df) {



    r_types <-
        c("logical", "numeric", "integer", "character", "list", "factor")

    spark_types <-
        c("boolean", "double", "integer", "string", "array", "string")

    types_in <- sapply(df, class)    


    types_out <- spark_types[match(types_in, r_types)]

    types_out[is.na(types_out)] <- "string" # initialise to character by default

    names(types_out) <- names(df)

    return(types_out)

}