0
ответов
Десериализация задачи Sparksteaming медленно в первый раз?
Привет всем: я обнаружил проблему на своем кластере потоковой искры. Мы собираем потребителя, чтобы использовать сообщение kafka, используя d-stream, и я считаю, что для каждой партии это занимает около 0,7-0,8 с. Больше всего времени провожу на ...
вопрос задан: 16 January 2019 13:32
0
ответов
Вкладка потоковой передачи в истории заданий Spark
Доступна ли вкладка потоковой передачи для готовых приложений потокового воспроизведения. Можем ли мы увидеть это в интерфейсе истории работы искры. Если мы не можем видеть в истории искры, как мы можем узнать микро ...
вопрос задан: 16 January 2019 06:12
0
ответов
KStreams + Spark Streaming + Машинное обучение
Я делаю POC для запуска алгоритма машинного обучения на потоке данных. Моя первоначальная идея состояла в том, чтобы взять данные, использовать Spark Streaming -> Aggregate Data из нескольких таблиц -> запустить MLLib on Stream of ...
вопрос задан: 29 November 2018 10:57
0
ответов
Разница в используемой, выделенной и максимальной памяти кучи
Я наблюдаю за искровым исполнителем JVM исключения OutOfMemoryException. Я использовал Jconsole для подключения к исполнителю JVM. Ниже приведен снимок Jconsole: на изображении используемая память показана как 3.8G и ...
вопрос задан: 4 January 2017 16:25
0
ответов
Спарк-красное смещение занимает много времени, чтобы написать в красное смещение
Я работаю над настройкой искрового стримера с помощью кинезиса и красного смещения. Я считываю данные из kinesis через каждые 10 секунд, обрабатываю их и записываю в красное смещение, используя lib-spark-redshift lib. Проблема в том, что это ...
вопрос задан: 2 March 2016 06:09