9
ответов
Не удалось загрузить модель pyspark.ml с помощью python-api-клиента livy и оболочки pysaprk [duplicate]
Я пытаюсь загрузить модель pyspark.ml с помощью python-api-клиента livy (https://github.com/cloudera/livy/tree/master/python-api) со следующей функцией: def load_model (context): from pyspark ....
вопрос задан: 25 December 2015 19:56
2
ответа
Функция для преобразования типов R в типы Spark
У меня есть фрейм данных R, который я хотел бы преобразовать в фрейм данных Spark на удаленном кластере. Я решил записать свой фрейм данных в промежуточный CSV-файл, который затем читается с использованием sparklyr :: ...
вопрос задан: 28 March 2019 05:39
1
ответ
Как установить livy.server.session.timeout на загрузку кластера EMR?
Я создаю кластер EMR и использую ноутбук Jupyter для запуска некоторых задач. Мои задачи умирают примерно через 1 час выполнения, и ошибка: Обнаружена ошибка: Неверный код состояния ...
вопрос задан: 16 January 2019 15:30
0
ответов
Реализация LivyClientFactory не найдена
У меня проблема: я следую этому руководству на официальной документации Livy: [https://livy.incubator.apache.org/docs/latest/programmatic-api.html]. Я создаю класс с именем PiJob для первого ...
вопрос задан: 27 February 2019 16:45
0
ответов
Как добавить интерпретатор livy в Zeppelin, работающий на кластере EMR
Какой самый простой способ добавить ливийский интерпретатор в Zeppelin, работающий на кластере EMR. Какой правильный шаг можно добавить, чтобы получить его?
вопрос задан: 20 January 2019 04:41
0
ответов
Отправка заданий Spark с использованием Airflow путем отправки пакетного метода POST в Livy и отслеживания заданий
Я хочу использовать Airflow для управления заданиями, которые включают в себя запуск некоторых сценариев PIG, сценариев оболочки и заданий Spark. В основном на рабочих местах Spark, я хочу использовать Apache Livy, но не уверен, хорош ли он ...
вопрос задан: 17 January 2019 03:36