1
ответ
Проблема с соединителем источника JDBC Confluent
Я получаю следующую проблему при попытке использовать конфлюент для kafka-connect. Я пытаюсь следовать демонстрации, приведенной на https: //www.confluent.io/blog/simplest-useful-kafka-connect-data-pipeline-world -...
вопрос задан: 17 January 2019 20:08
1
ответ
Могу ли я получить, чтобы все потребители группы потребляли сообщения со всех разделов темы кафки?
Допустим, в Кафке у меня есть 4 раздела на тему «А», и у меня есть 20 потребителей группы потребителей «АС». Мне не нужно никаких заказов, но я хочу обрабатывать сообщения быстрее, масштабируя моего потребителя ...
вопрос задан: 17 January 2019 19:48
1
ответ
IBM MQ и Kafka Интеграция
Я работаю над решением, в котором клиент уже владеет iBM MQ, поэтому мне нужно интегрировать в него Kafka. мне нужно было бы получить данные из IBM MQ и перенести их в тему kafka для дальнейшей обработки. Я ...
вопрос задан: 17 January 2019 19:36
1
ответ
Брокеру может быть недоступна ошибка реестра схемы Кафки
Я определил конфигурацию реестра схем Kafka и Kafka с использованием развертываний и сервисов Kubernetes. Я использовал эту ссылку в качестве ссылки для настройки переменных среды. Тем не менее, когда я пытаюсь бежать ...
вопрос задан: 17 January 2019 17:58
1
ответ
Как добавить встроенную кафку в Spring Boot Application
Я использую Kafka и Spring Boot в своем проекте, теперь у меня есть внешний кластер Kafka и проект микросервиса Spring Boot. Используя файл yml, я успешно создаю Kafka Producer и потребителя и ...
вопрос задан: 17 January 2019 17:00
1
ответ
ACL Kafka: добавление пользователя в несколько тем в одной команде
У меня есть сервер Kafka, работающий в ACL. Я могу добавить пользователя: Боба в тему test bin / kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect = localhost: 2181 ...
вопрос задан: 17 January 2019 16:06
1
ответ
Динамическая настройка retention.ms не работает для темы kafka
У меня есть тема Kafka, которая называется retention, и ниже приведена конфигурация сервера, связанная с retention: log.retention.hours = 168 log.segment.bytes = 1073741824 log.retention.check.interval.ms = 3600000 (~ 1 ...
вопрос задан: 17 January 2019 13:14
1
ответ
ОШИБКА Неверный конфиг, ненормальный выход из кластера Kafka
У меня есть три разных узла, на каждом из которых есть докер с Ubuntu. Я могу запустить zookeeper server на Docker локально (я имею в виду без какой-либо конфигурации для кластера), но я хочу сделать kafka cluster ...
вопрос задан: 17 January 2019 12:30
1
ответ
Порядок сообщений с Kafka Connect Elasticsearch Connector
У нас возникают проблемы с обеспечением порядка, в котором сообщения из темы Kafka отправляются в Elasticsearch с помощью Kafka Connect Elasticsearch Connector. В теме сообщения в праве ...
вопрос задан: 17 January 2019 10:14
1
ответ
Соединитель раковины Kafka не работает: схема не найдена; код ошибки: 40403
У меня есть соединитель приемника со следующей конфигурацией {"name": "sink-test-mariadb-MY_TOPIC", "config": {"connector.class": "io.confluent.connect.jdbc.JdbcSinkConnector", ...
вопрос задан: 17 January 2019 07:51
1
ответ
Как получить метрики Apache Kafka в формате JSON
Я пытаюсь получить показатели работоспособности Apache Kafka, такие как показатели Broker, Producer, Consumer, Zookeeper, Topics и т. Д., Без использования Confluent или какого-либо другого программного обеспечения / плагина. Мне нужно разоблачить это и .
вопрос задан: 17 January 2019 07:08
1
ответ
Экземпляр контейнера Azure не подключен кластер kafka
У меня есть экземпляр контейнера Azure, и я хочу подключиться к kafka, также находящемуся в Azure. Если в кафке настроить adsised.listeners с днс я могу подключиться, однако с hostname не могу. ...
вопрос задан: 16 January 2019 20:34
1
ответ
Шаблон Apache Flink CEP для нескольких типов событий
В настоящее время я работаю над семестровым проектом, где я должен узнать серию из трех событий. Нравится P - > R - > P У нас есть два разных типа событий, которые потребляются через разъем Kafka в ...
вопрос задан: 16 January 2019 18:07
1
ответ
Kafka Stream подавляет агрегацию оконных сессий
Я написал этот код в потоковом приложении Kafka: KGroupedStream < String, foo > groupedStream = stream.groupByKey (); groupedStream.windowedBy (SessionWindows.with (Duration.ofSeconds (3)) ....
вопрос задан: 16 January 2019 17:44
1
ответ
Настройка и запуск KSQL на машине с Windows
Мне просто интересно, можно ли запустить KSQL на машине с Windows. Я скачал с https://www.confluent.io/product/ksql/ и не уверен, как настроить и запустить. Спасибо MR
вопрос задан: 16 January 2019 17:03
1
ответ
Потребительская проблема Кафки (получение с последним смещением)
Когда мой производитель и потребитель слушают одновременно, я вижу сообщение. Когда мой потребитель не работает и отправляет сообщения от производителя, я не вижу его от потребителя, когда я появляюсь. Но когда ...
вопрос задан: 16 January 2019 15:03
1
ответ
Как закрыть KStream, если все брокеры не доступны
Я использую Streams с Spring Boot Application. Если Kafka закрыт или недоступен, блокируется только следующее: Не удалось установить соединение с узлом -1. Брокер может быть недоступен ....
вопрос задан: 16 January 2019 10:13
1
ответ
Кафка тема с разным форматом данных
Я написал некоторые avro-данные в тему «test-avro», используя Kafka-avro-console-продюсер Затем я записал некоторые текстовые данные в ту же тему «test-avro», используя Kafka-console -roduction. После ...
вопрос задан: 16 January 2019 05:59
1
ответ
kafka Connect: Tasks.max больше, чем количество разделов, но в статусе написано RUNNING
В нашей настройке у нас есть 50 задач и 40 разделов в теме. У нас есть 2 рабочих. В идеале, коннектор должен запускать только 40 задач, но мы видим, что все 50 задач имеют статус RUNNING. Как так ...
вопрос задан: 16 January 2019 04:04
1
ответ
AWS Lambda - обратный вызов PutItem Dynamo DB не вызывается
exports.handler = function (event, context) {var AWS = require ('aws-sdk'); var Dynamodb = новый AWS.DynamoDB ({apiVersion: '2012-08-10'}); var kafka = require ('kafka-node'); var Consumer = ...
вопрос задан: 15 January 2019 21:38
1
ответ
Kafka Connect - Удалить коннектор с конфигами?
Я знаю, как удалить коннектор Kafka, как упомянуто здесь. Kafka Connect - Как удалить коннектор, но я не уверен, удаляет ли он также / стирает определенные конфиги, связанные с коннектором, смещения и статус из * ...
вопрос задан: 15 January 2019 19:28
1
ответ
Динамически меняйте настройки конфига кафки в C #
Я очень новичок в Apache Kafka. Я работаю на платформе C # .NET / Windows. Мне удалось поиграть с настройками конфигурации для Kafka и отправить и получить сообщение с помощью командной строки Используя https: //www.codeguru.com / ...
вопрос задан: 15 January 2019 18:52
1
ответ
Avro и Kafka, используя SchemaBuilder
Я прошел учебник от Baeldung. Они упоминают, что есть два способа создания схемы. Написав представление json и добавив плагин maven для создания класса, используя ...
вопрос задан: 15 January 2019 11:21
1
ответ
Confluent Maven хранилище не работает?
Мне нужно использовать Confluent kafka-avro-serializer Maven. Из официального руководства я должен добавить этот репозиторий в свой Maven pom < repository > < & ID GT; вырожденная & л; / ID > < & GT URL; ...
вопрос задан: 27 September 2018 05:12
1
ответ
Встроенная кафка не может запускаться - Ошибка
Мне трудно решить эту проблему. Вот мой Junit, и я использую пружинный встроенный кафка. Когда я запускаю свой тестовый пример, я получаю странную проблему / исключение. @RunWith (SpringRunner.class) @ ...
вопрос задан: 13 July 2018 17:54
1
ответ
Spark Streaming с Kafka: AvroRunTimeException с наличием латинских символов
Я пытаюсь прочитать данные из темы Кафки, которая сериализуется в формате Avro, в приложении Spark Streaming. Я получаю ниже исключения при преобразовании из байта [] в GenericRecord. Я попытался ...
вопрос задан: 13 July 2018 16:35
1
ответ
прослушиватель событий в фиде, созданный через EventSource в javascript
Я создал функцию в JavaScript, в которой я создал фид через var feed = new EventSource («@ routes.HomeController.kafkaStream»); а затем добавил слушателя на нем через фид ....
вопрос задан: 13 July 2018 12:06
1
ответ
Мои кафковые темы недоступны после перезапуска kafka
У меня есть одна машина с Windows 10. Я установил панель инструментов Docker и начал свой контейнер Kafka с помощью команды ниже. docker run -it -p 2181: 2181 -p 3030: 3030 -p 8081: 8081 -p ...
вопрос задан: 13 July 2018 11:42
1
ответ
EmbeddedKafka бросает RecordTooLargeException, даже если установлены значения конфигурации
Я пытаюсь увеличить размер сообщения по умолчанию для kafka с 1 МБ до 10 МБ. Я тестирую свою новую конфигурацию с помощью EmbeddedKafka и ScalaTest, но она не работает. Используя этот ответ, я увеличил ...
вопрос задан: 13 July 2018 09:50
1
ответ
Что означает & ldquo; Rebalancing & rdquo; значит в контексте Apache Kafka?
Я новый пользователь Kafka и пробовал его уже 2-3 недели. Я полагаю, что на данный момент я хорошо понимаю, как работает Kafka по большей части, но после попытки приспособить API ...
вопрос задан: 29 May 2018 10:21