Kafka Direct Stream в DataFrame не работает с окном

Question

Kafka Direct Stream в DataFrame не работает с окном

Поскольку window.event не существует в Firefox. Это потому, что браузер имеет разные модели событий, и вам придется иметь дело с их различиями или использовать библиотеку, такую как jQuery, чтобы не иметь дело со всеми различиями между браузерами. Добро пожаловать в DOM.

0

scala apache-spark spark-streaming rdd

задан ferdyh 16 January 2019 в 08:41

1 ответ

Другие вопросы по тегам:

scala apache-spark spark-streaming rdd

Похожие вопросы:

score 0 · Answer 1

Очевидно, вам нужно преобразовать поток в преобразовании (...) в поток без ConsumerRecord. Затем вы можете вызвать окно на очищенный поток. Затем вы можете преобразовать этот поток и построить результирующую таблицу.

val cleanedStream = kafkaStream.transform(rdd => rdd.map(record => record.value))

val windowedStream = cleanedStream.window(Minutes(5),Seconds(20))

val transformedStream = windowedStream.transform(rdd => {
    val words = rdd.flatMap(line => line.split(" "))
    val pairs = words.map(word => (word, 1))
    pairs.reduceByKey((x: Int, y: Int) => (x + y))
})

transformedStream.foreachRDD { rdd =>
    rdd.toDF("word", "count").createOrReplaceTempView("words")
}