Определите UDF Spark Scala с параметром в качестве входного параметра
Каждая функция контекста выполнения в javascript имеет контекст контекста этот параметр , который задается:
- Как вызывается функция ( в том числе в качестве метода объекта, использование call и применяется , использование new )
- Использование связывания
- Лексически для функций стрелок (они принимают этот своего внешнего контекста выполнения)
Каким бы ни был этот контекст области видимости, ссылается на «this».
Вы можете изменить это значение для параметра этого контекста области , используя func.call, func.apply или func.bind.
По умолчанию и что сбивает с толку большинство новичков, когда вызывающий вызывающий вызов вызывается после того, как событие добавлено в элемент DOM, контекст области это значение функции является элементом DOM.
jQuery делает это тривиальным для изменения с помощью jQuery.proxy.
1 ответ
Если столбец не существует, то вы должны указать значение по умолчанию с помощью функции lit (), иначе она выдаст ошибку. Следующее работало для меня
scala> defaultHour
res77: String = 00
scala> :paste
// Entering paste mode (ctrl-D to finish)
def addTimestampFromFileCols(df:DataFrame) =
{
val hr = if( df.columns.contains("hour") ) col(COLUMN_HOUR) else lit(defaultHour)
df.withColumn(COLUMN_TS, addTimeFromCols(col(COLUMN_YEAR), col(COLUMN_MONTH), col(COLUMN_DAY), hr).cast(TimestampType))
}
// Exiting paste mode, now interpreting.
addTimestampFromFileCols: (df: org.apache.spark.sql.DataFrame)org.apache.spark.sql.DataFrame
scala>
+ ve case
scala> val df = Seq(("2019","01","10","09")).toDF("year","month","day","hour")
df: org.apache.spark.sql.DataFrame = [year: string, month: string ... 2 more fields]
scala> addTimestampFromFileCols(df).show(false)
+----+-----+---+----+-------------------+
|year|month|day|hour|tstamp |
+----+-----+---+----+-------------------+
|2019|01 |10 |09 |2019-01-10 09:00:00|
+----+-----+---+----+-------------------+
-ve чехол
scala> val df = Seq(("2019","01","10")).toDF("year","month","day")
df: org.apache.spark.sql.DataFrame = [year: string, month: string ... 1 more field]
scala> addTimestampFromFileCols(df).show(false)
+----+-----+---+-------------------+
|year|month|day|tstamp |
+----+-----+---+-------------------+
|2019|01 |10 |2019-01-10 00:00:00|
+----+-----+---+-------------------+
scala>