1
ответ
Отключить тайм-аут сеанса Kafka
Я пытаюсь перейти через исходный код Apache Camel, чтобы определить источник ошибки. Я продолжаю получать эту ошибку, несмотря на то, что я настроил StringDeserializer для потребителя: org.apache.kafka ....
вопрос задан: 17 March 2019 20:47
1
ответ
Как разрешить Google App Engine подключаться к экземплярам виртуальной машины
У меня есть приложение Java Spring Boot, развернутое в Google App Engine. Сначала я пытался связать это приложение с виртуальной машиной, работающей под управлением Apache Kafka. После страданий решил попробовать ...
вопрос задан: 10 March 2019 22:41
1
ответ
Как установить kafka CommitOffset в Flink?
Я уже установил коммит, смещенный на: properties.setProperty ("auto.commit.interval.ms", "1000"); properties.setProperty ("auto.commit.enable", "true"); properties.setProperty ("enable.auto.commit", "true" ...
вопрос задан: 6 March 2019 06:25
1
ответ
Spring Boot внедряет ObjectMapper в Kafka JsonDeserializer
Я хотел бы добавить ObjectMapper Джексона в JsonDeserializer для ConsumerFactory Кафки. Я сделал то, что упоминается в этом посте: Внедрить ObjectMapper в сериализатор Spring Kafka / ...
вопрос задан: 6 March 2019 05:00
1
ответ
Не удается подключить Debezium 0.9.2 к SQL Server 2008 R2
Когда я пытаюсь подключить Debezium к своей базе данных SQL Server после включения функции CDC, у меня появляется следующее сообщение об ошибке: java.lang.RuntimeException: Не удалось получить имя базы данных на io.debezium ....
вопрос задан: 4 March 2019 13:08
1
ответ
Spring Cloud Stream против Kafka Stream для функции "Точно однажды"
Я не смог найти здесь и на веб-сайте и в блогах Spring, если Spring Cloud Stream может предоставить семантику «Ровно когда-то», предоставляемую API-интерфейсами Kafka Stream. Может быть, нет ни одной конфигурации / ...
вопрос задан: 4 March 2019 07:54
1
ответ
Spark Structured Streaming writestream не записывает файл, пока я не остановлю работу
Я использую Spark Structured Streaming для классического варианта использования: я хочу прочитать тему kafka и записать поток в HDFS в формате паркета. Вот мой код: импорт org.apache.spark.sql ....
вопрос задан: 28 February 2019 21:27
1
ответ
Сколько ресурсов операционной системы необходимо для одного потребителя Java Kafka?
Я хочу использовать сотни тысяч KafkaConsumer. Например, мне нужно 100_000 потребителей для какого-то архитектурного шаблона. Я думаю, это нормально? Или я должен реорганизовать свою систему и использовать несколько ...
вопрос задан: 27 February 2019 18:35
1
ответ
Как собрать метрики JMX из конечной точки метрики Kafka с помощью входного плагина Telegraf
Я использую стек TICK. Я должен импортировать данные из конечной точки метрики kafka в Influx DB. Могу ли я сделать это без интеграции плагин Jolokia Telegraf. У меня все экземпляры запущены в k8s. Есть ли способ тоже ...
вопрос задан: 27 February 2019 14:01
1
ответ
Как проверить, была ли отправлена новая запись в данный период времени, используя kafka и faust
Я использую тестовую настройку, включая платформу слияния (докер), и обрабатываю записи со следующей информацией: идентификатор датчика, метка времени, значение. Использование robinhood's faust (похоже на Kafka Streams ...
вопрос задан: 25 February 2019 23:50
1
ответ
Не удается получить данные из Кафки в распределенную таблицу
Мне нужно получить данные из очереди Kafka (заполненные моим скриптом) для каждой реплики в кластере ClickHouse (CH). Я создал: таблицу 'queue' (движок Kafka) на каждой реплике; «потребительский» материализованный взгляд ...
вопрос задан: 23 February 2019 19:36
1
ответ
Каковы негативные последствия установки max.poll.interval.ms больше, чем request.timeout.ms в пользовательских конфигах Kafka
Согласно документации Кафки; Новый Java Consumer теперь поддерживает сердцебиение из фонового потока. Существует новая конфигурация max.poll.interval.ms, которая контролирует максимальное время ...
вопрос задан: 22 February 2019 07:58
1
ответ
как остановить потребителя kafka python после получения записи, которую я хочу, и выполнить остальные процессы
Я хотел бы использовать все сообщения, начиная с начала, каждый раз, когда я запускаю потребителя в python и останавливаюсь, если я получаю желаемую запись и заканчиваю потребителя, а затем продолжаю остальные процессы.
вопрос задан: 21 February 2019 05:58
1
ответ
Как кодировать/декодировать сообщения Kafka с помощью двоичного кодировщика Avro?
Я пытаюсь использовать Avro для сообщений, читаемых из/записываемых в Kafka. Есть ли у кого-нибудь пример использования двоичного кодировщика Avro для кодирования/декодирования данных, которые будут помещены в очередь сообщений? Мне нужно ...
вопрос задан: 17 February 2019 15:47
1
ответ
Как вывести несколько записей из Transformer?
Дано: топология DSL с KStream :: transform. В рамках выполнения Transformer :: transform из входного сообщения генерируется множество сообщений (KeyValue < String, Message >). Я, наверное, могу вернуться ...
вопрос задан: 22 January 2019 13:21
1
ответ
Как преодолеть ошибку IllegalAccessError при запуске коннектора в Kafka
Я пишу разъем для Kafka Connect. Ошибка, которую я вижу во время запуска соединителя, является java.lang.IllegalAccessError: попытался получить доступ к полю org.apache.kafka.common.config.ConfigTransformer ....
вопрос задан: 20 January 2019 00:01
1
ответ
Kafka Connect против потоков для раковин [закрыто]
Я пытаюсь понять, что Connect покупает у вас, а Streams - нет. У нас есть часть нашего приложения, где мы хотим использовать тему и писать в mariadb. Я мог бы сделать это с помощью простого ...
вопрос задан: 19 January 2019 23:58
1
ответ
API производителя Kafka - onCompletion
Попытка понять API производителя Java. Что означает завершение? Помоги мне понять за то же самое. Ссылка: https: //kafka.apache.org/0110/javadoc/index.html? Org / apache / kafka / clients / ...
вопрос задан: 19 January 2019 23:55
1
ответ
Как мне реализовать Event Sourcing, используя Kafka?
Я хотел бы реализовать шаблон поиска событий, используя kafka в качестве хранилища событий. Я хочу сделать это как можно проще. Идея: мое приложение содержит список клиентов. Клиенты могут быть созданы ...
вопрос задан: 19 January 2019 14:32
1
ответ
Как получить информацию о смещении потребителя Kafka в программе Flink
Я использую FlinkKafkaConsumer010 и Kafka версии 1.1. Я хочу получить информацию о смещении задержки в моем коде
вопрос задан: 19 January 2019 10:20
1
ответ
TimeoutException: истекло время ожидания при получении метаданных темы Кафка
Я пытался развернуть Kafka с реестром схемы локально, используя Kubernetes. Тем не менее, журналы модуля реестра схемы показывают это сообщение об ошибке: ОШИБКА Сервер неожиданно умер:
вопрос задан: 19 January 2019 05:53
1
ответ
Интеграция производителя Kafka Python с веб-приложением django
У меня есть вопрос о том, как мы можем интегрировать производителя kafka с веб-приложением. получить данные за каждую минуту или секунду. Может ли веб-приложение каждый раз передавать объект JSON работающему производителю ...
вопрос задан: 18 January 2019 20:33
1
ответ
Кафка подписаться только на последнее сообщение?
Иногда (кажется очень случайным) Кафка отправляет старые сообщения. Я хочу только самые последние сообщения, поэтому он перезаписывает сообщения с тем же ключом. В настоящее время, похоже, у меня есть несколько сообщений с одним и тем же ключом это ...
вопрос задан: 18 January 2019 18:23
1
ответ
Kafka Connect не может читать темы Kafka по SSL
Запустите kafka connect в нашем docker-swarm со следующим файлом compose: cp-kafka-connect-node: образ: confluentinc / cp-kafka-connect: порты 5.1.0: - 28085: 28085 секретов: - ...
вопрос задан: 18 January 2019 16:45
1
ответ
Невозможно отправить сообщение с KafkaNull в качестве значения
Я создаю приложение Kafka, используя сжатие журналов по теме, но не могу отправить значение Tombstone (KafkaNull). Я попытался использовать конфигурацию по умолчанию для сериализатора и когда это ...
вопрос задан: 18 January 2019 16:14
1
ответ
Как операции с состоянием работают в потоках Kafka, когда есть несколько экземпляров потокового приложения?
Как работают полные операции состояния в приложении Kafka Stream с несколькими экземплярами? Давайте просто скажем, что у нас есть 2 темы с 2 разделами A и B. У нас есть потоковое приложение, которое ...
вопрос задан: 18 January 2019 11:04
1
ответ
kafka-node асинхронный потребительский обработчик
Вот как инициализируется мой потребитель: const client = new kafka.Client (config.ZK_HOST) const consumer = new kafka.Consumer (клиент, [{topic: config.KAFKA_TOPIC, смещение: 0}], {autoCommit: false}). ..
вопрос задан: 18 January 2019 05:33
1
ответ
PySpark 2.4: перестало работать программное добавление Maven JAR-координат
Ниже приведен мой фрагмент запуска PySpark, который довольно надежен (я давно его использую). Сегодня я добавил две координаты Maven, показанные в опции spark.jars.packages (эффективно "...
вопрос задан: 18 January 2019 04:04
1
ответ
Kafka Streams: Каковы негативные последствия медленной пунктуальной работы?
В нашей топологии Kafka Streams есть некоторые знаки пунктуации, запуск которых может занять много времени (несколько минут). Каковы последствия таких медленных точек? Будет ли процесс, в котором они ...
вопрос задан: 18 January 2019 01:52
1
ответ
Можем ли мы запустить коннектор Confluent JDBC Kafka в операционной системе Windows?
мы планируем установить и запустить JDBC-разъем Confluent в операционной системе Windows (без Docker и Cygwin с установленным curl). Я нашел пару постов, говорящих, нам нужно немного "предварительно ...
вопрос задан: 17 January 2019 20:41