sparkSession.sql, выбрасывающий исключение NullPointerException

Следующая публикация: sql: selcting top N записей на группу описывает сложный способ достижения этого без подзапросов.

Он улучшает другие решения, предлагаемые здесь:

  • Выполнение всего в одном запросе
  • Возможность правильно использовать индексы
  • Избегание подзапросов, как известно, для создания плохих планов выполнения в MySQL

Это, однако, не очень. Хорошим решением было бы возможно, если в MySQL были включены функции Window (aka Analytic Functions), но это не так. В трюке, используемой в указанном сообщении, используется GROUP_CONCAT, который иногда описывается как «Функции окна для пользователя для MySQL».

-2
задан Shyam 16 January 2019 в 08:18
поделиться

1 ответ

Вы не можете использовать SparkSession в коде на стороне исполнителя (то есть в цикле dist_df.foreach), в этом случае Spark Session является нулевым (он живет только в драйвере)

0
ответ дан Raphael Roth 16 January 2019 в 08:18
поделиться
Другие вопросы по тегам:

Похожие вопросы: