12
ответов
Получение исключения NullPointerException при попытке создать RMQSink во Flink [дубликат]
Я пытаюсь сделать Sink для Flink, чтобы отправлять сообщения от Flink до RabbitMQ. Когда я создаю Sink в основном, все работает нормально - я получаю сообщение в специальной очереди на RabbitMQ. ...
вопрос задан: 26 May 2016 16:15
2
ответа
Как изменить значение для Tuple2 в Java
Я использую аккумулятор в функции сгиба. Я хотел бы изменить значение аккумулятора. Моя функция выглядит примерно так: public Tuple2 < String, Long > раза (Tuple2 & л; String, ...
вопрос задан: 19 January 2019 14:49
2
ответа
Почему поток данных не печатает преобразование?
Список & л; Целое число > lst = Stream.of (1, 2, 3, 4, 5, 6, 7, 8, 9, 10) .collect (Collectors.toList ()); StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment (); ...
вопрос задан: 19 January 2019 06:43
2
ответа
Как использовать Flink Metrics
У меня есть кластер Apache Flink с автономным режимом, я хочу настроить Flink Metrics. Конфигурация в flink-conf.yaml metrics.reporter: my_jmx_reporter, my_other_reporter metrics.reporter ....
вопрос задан: 17 January 2019 13:31
2
ответа
Применение оконной функции отбрасывает события в результате
Я пытаюсь посчитать элементы в потоке, обогащая результат временем окончания окна. События получены от Kafka с использованием kafka10, предоставленного Flink. EventTime используется ....
вопрос задан: 17 January 2019 10:01
1
ответ
Почему мои запросы Flink SQL имеют очень разные размеры контрольных точек?
При использовании Flink Table SQL в моем проекте я обнаружил, что если в моем SQL-запросе есть какое-либо предложение GROUP BY, размер контрольной точки значительно возрастет. Например, INSERT INTO COMPANY_POST_DAY SELECT ...
вопрос задан: 25 March 2019 10:08
1
ответ
Как записать в разные файлы на основе контента для пакетной обработки во Flink?
Я пытаюсь обработать некоторые файлы в HDFS и записать результаты обратно в HDFS. Файлы уже подготовлены до начала работы. Дело в том, что я хочу писать в разные пути и файлы на основе ...
вопрос задан: 19 March 2019 23:33
1
ответ
состояние трансляции flink не сохраняется в rocksdb, когда произошла контрольная точка?
Бэкэнд состояния RocksDB отсутствует: состояние широковещания сохраняется в памяти во время выполнения, и подготовка памяти должна выполняться соответствующим образом. Это верно для всех состояний операторов. выше с официального сайта Flink. ...
вопрос задан: 18 March 2019 07:09
1
ответ
Flink TaskManager время ожидания?
Я запускаю приложение Flink (через Yarn), и кажется, что иногда диспетчер задач иногда останавливается, вот ошибка: java.util.concurrent.TimeoutException: Heartbeat TaskManager с идентификатором ...
вопрос задан: 17 March 2019 23:59
1
ответ
Скала дисперсии, когда несколько типов
По этому ответу https://stackoverflow.com/a/1759565/11217621 я знаю, что в Java можно сделать что-то вроде открытого класса MyClass < S, T > {public void foo (Set < S > s, Set < T & ...
вопрос задан: 17 March 2019 20:51
1
ответ
Как установить kafka CommitOffset в Flink?
Я уже установил коммит, смещенный на: properties.setProperty ("auto.commit.interval.ms", "1000"); properties.setProperty ("auto.commit.enable", "true"); properties.setProperty ("enable.auto.commit", "true" ...
вопрос задан: 6 March 2019 06:25
1
ответ
Как отсортировать поток по времени события, используя Flink SQL
У меня вышел из строя DataStream < Event > что я хочу отсортировать так, чтобы события были упорядочены по их временным меткам. Я упростил свой вариант использования до того, что мой класс Event имеет только ...
вопрос задан: 3 March 2019 15:35
1
ответ
Записать поток flink в реляционную базу данных
Я работаю над проектом Flink, который записывает поток в реляционную базу данных. В текущем решении мы написали пользовательскую функцию приемника, которая открывает транзакцию, выполняет оператор вставки SQL и закрывает ...
вопрос задан: 2 March 2019 10:53
1
ответ
Почему контрольные точки так сильно влияют на задержку?
Я наблюдаю, что наличие контрольных точек при использовании бэкэнда памяти вызывает неожиданное увеличение наблюдаемых задержек. Рассмотрим следующую контрольную точку: 2019-02-27 15: 35: 46,322 INFO org ....
вопрос задан: 27 February 2019 16:37
1
ответ
Flink - интеграционное тестирование с несколькими источниками
У меня есть задание Flink, которое я тестирую интеграцией, используя описанный здесь подход: https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/testing.html#integration-testing. Задание занимает ...
вопрос задан: 27 February 2019 15:05
1
ответ
Как получить информацию о смещении потребителя Kafka в программе Flink
Я использую FlinkKafkaConsumer010 и Kafka версии 1.1. Я хочу получить информацию о смещении задержки в моем коде
вопрос задан: 19 January 2019 10:20
1
ответ
Flink Пользовательская сериализация с registerTypeWithKryoSerializer
Я хотел бы посоветовать вам быстрое возможное улучшение в DOC онлайн с сериализацией. На самом деле вы проделали потрясающую работу как над реализацией, так и над документацией. Путь ...
вопрос задан: 19 January 2019 10:12
1
ответ
Kotlin классы, не идентифицированные как Flink действительные POJO
Я пишу приложение Flink на Kotlin, и классы данных (как и другие классы Kotlin) не определены как допустимые типы POJO. В документации Flink говорится, что тип данных распознается как ...
вопрос задан: 18 January 2019 20:04
1
ответ
Как использовать System.console в качестве источника Apache Flink
Apache Flink предоставляет множество различных потоковых источников, но мне было интересно, можно ли использовать консоль в качестве источника данных. Я не нашел ни одного примера в Интернете. Я придумал ...
вопрос задан: 18 January 2019 17:41
1
ответ
Есть ли официальный документ о том, что поддерживает SQL flink
Я просмотрел официальную документацию Flink, но не нашел, какой SQL поддерживает этот flink
вопрос задан: 18 January 2019 10:26
1
ответ
Flink: следует ли перезапустить весь кластер в случае сбоя одного диспетчера задач?
У нас работает автономный кластер Flink с 2 менеджерами вакансий и 3 менеджерами задач. Всякий раз, когда происходит сбой ТМ, мы просто перезапускаем эту конкретную ТМ и продолжаем обработку. Но читая ...
вопрос задан: 18 January 2019 09:51
1
ответ
Добавить точку сохранения в Datastream
У меня есть источник kafka, из которого мое приложение flink читает данные и обрабатывает их, я хочу добавить механизм сохранения точки flink, чтобы возобновить процесс с того места, где он был оставлен, а не ...
вопрос задан: 17 January 2019 14:45
1
ответ
Обрабатывать исключение глобально для конвейера данных
У меня есть конвейер данных 5 разных задач. если в какой-либо задаче есть какое-либо исключение, то перенесите его в тему ошибки kafka. есть ли обработчик исключений
вопрос задан: 17 January 2019 14:01
1
ответ
Используйте Flink в моей IDEA, но запустите ошибку: java.lang.NoSuchMethodError: scala.Predef $ .ArrowAssoc ， как настроить версию scala в intelliJ?
Исключение в потоке "main" java.lang.NoSuchMethodError: scala.Predef $ .ArrowAssoc (Ljava / lang / Object;) Ljava / lang / Object; atkka.actor.setup.ActorSystemSetup $$ anonfun $ apply $ 1.apply (ActorSystemSetup ....
вопрос задан: 17 January 2019 08:54
1
ответ
Найти соответствующий адрес хоста диспетчера задач для запрашиваемого состояния
У меня есть 4 менеджера задач и использующий бэкэнд состояния карты (RocksDB) используя QueryableStateClient для запроса состояния. 1. Как получить правильный диспетчер задач для запроса состояния вместо запроса всей задачи ...
вопрос задан: 17 January 2019 07:58
1
ответ
Использование ROW () для вложенной структуры данных
Я успешно использовал JsonRowSerializationSchema из артефакта flink-json для создания TableSink < Row > и вывести JSON из SQL, используя ROW. Он отлично работает для передачи плоских данных: INSERT ...
вопрос задан: 16 January 2019 19:39
1
ответ
Шаблон Apache Flink CEP для нескольких типов событий
В настоящее время я работаю над семестровым проектом, где я должен узнать серию из трех событий. Нравится P - > R - > P У нас есть два разных типа событий, которые потребляются через разъем Kafka в ...
вопрос задан: 16 January 2019 18:07
1
ответ
Существуют ли ограничения в использовании состояния в Apache Flink?
Apache Flink позволяет мне использовать State в RichMapFunction. Я планирую создать постоянно работающую работу, которая анализирует поток веб-событий. Частью обработки будет создание ...
вопрос задан: 16 January 2019 15:26
1
ответ
Apache Flink - ограничить количество выставляемых метрик
У нас есть работа с 30 операторами. Когда мы выполняем эту работу с параллелизмом в 12 шагов, в итоге получается 400 000 метрик, что слишком много для нашей метрической платформы. ...
вопрос задан: 16 January 2019 10:49
0
ответов
Слоты задач Flink распределяются неравномерно при установке параллелизма оператора, превышающего параллелизм по умолчанию
Я выполняю задание Flink в кластере, содержащем 3 менеджера задач (поверх 3 модулей Kubernetes). Параллелизм задания по умолчанию равен 9, а один из операторов настроен на параллелизм 18. Номер задания ...
вопрос задан: 26 March 2019 16:36