Построение системы рекомендаций в TensorFlow

Ниже приведен метод преобразования всех столбцов ArrayType (любого базового типа) столбцов DataFrame в StringType:

def stringifyArrays(dataFrame: DataFrame): DataFrame = {
  val colsToStringify = dataFrame.schema.filter(p => p.dataType.typeName == "array").map(p => p.name)

  colsToStringify.foldLeft(dataFrame)((df, c) => {
    df.withColumn(c, concat(lit("["), concat_ws(", ", col(c).cast("array<string>")), lit("]")))
  })
}

Он также не использует UDF.

-2
задан Sijo Kurian 25 March 2019 в 13:17
поделиться