Вопросы Теги

Ошибка запуска Pyspark - Ошибка hive.HiveSessionState [duplicate]

Если ваш ключ НЕ гарантированно уникален для всех элементов в списке, вы должны преобразовать его в Map<String, List<Choice>> вместо Map<String, Choice> 

Map<String, List<Choice>> result =
 choices.stream().collect(Collectors.groupingBy(Choice::getName));
3
задан codin 29 March 2016 в 16:38
поделиться

2 ответа

Вы используете искру, построенную с поддержкой улья.

Существует два возможных решения, основанных на том, что вы хотите сделать позже с помощью искровой оболочки или в ваших искровых работах -

  1. Вы хотите получить доступ к таблицам улей в вашей установке hadoop + hive. Вы должны поместить файл hive-site.xml в подкаталог conf. Найдите hive-site.xml из существующей установки улья. Например, в моей cloudera VM hive-site.xml находится в / usr / lib / hive / conf. Запуск искровой оболочки после выполнения этого шага должен успешно подключиться к существующему метастоуму улья и не будет пытаться создать временную базу данных .mastore в вашем текущем рабочем каталоге.
  2. Вы не хотите получать доступ к таблицам улей в вашей установке hadoop + hive. Если вам не нужно подключаться к таблицам улей, вы можете следовать решению Альберто. Исправьте разрешения в каталоге, из которого вы запускаете искровую оболочку. Убедитесь, что вам разрешено создавать каталоги / файлы в этом каталоге.

Надеюсь, это поможет.

3
ответ дан Pranav Shukla 26 August 2018 в 16:20
поделиться

По-видимому, у вас нет прав на запись в этом каталоге, я рекомендую вам запустить ./spark-shell в вашем HOME (вы можете добавить эту команду к своему PATH) или в любой другой доступный каталог и записывается вашим пользователем.

Это также может быть актуально для вас Ноутбуки вместе с Spark

9
ответ дан Community 26 August 2018 в 16:20
поделиться
Другие вопросы по тегам:

Похожие вопросы: