Удалить дубликаты из набора данных кортежей в Spark

Question

Удалить дубликаты из набора данных кортежей в Spark

Когда вы НЕ используете широкие символы?

Когда вы пишете код до 1990 года.

Очевидно, я переворачиваюсь, но на самом деле это 21-й век. 127 символов уже давно перестали быть достаточными. Да, вы можете использовать UTF8, но зачем беспокоиться о головных болях?

0

apache-spark dataset tuples scala

задан Azik 17 January 2019 в 09:32

1 ответ

Другие вопросы по тегам:

apache-spark dataset tuples scala

Похожие вопросы:

score 0 · Answer 1

После того, как вы используете joinWith, полученный вами фрейм данных имеет только два столбца. И Spark не поддерживает удаление дубликатов для вложенного столбца.

Вы можете использовать соединение, чтобы сгладить столбцы, вместо joinWith, для которого вы можете указать столбец, для которого вы хотите отбросить дубликаты.