2
ответа
Кафка передела
Насколько я понимаю, разделы и потребители связаны отношениями 1: 1, в которых один пользователь обрабатывает раздел. Однако есть ли такой способ передела в середине ...
вопрос задан: 19 March 2019 11:09
2
ответа
идентификатор группы потребителей по умолчанию в кафке
Я работаю с Kafka 2.11 и довольно новым для него. Я пытаюсь понять группы потребителей kafka, у меня есть 3 горячих приложения, использующих одну и ту же тему, и каждое из них получает все
вопрос задан: 17 January 2019 11:21
2
ответа
Потребитель потребляет из разделов реплики, если несколько потребителей работают в одной группе потребителей?
Я пишу потребительское приложение kafka. У меня есть тема с 4 разделами - 1 лидер и 3 последователи. Производитель использует ключ, чтобы идентифицировать раздел для отправки сообщения. Если я напишу потребителю и ...
вопрос задан: 16 January 2019 10:56
1
ответ
Является ли метод consumer.createMessageStreams (map) читать последовательно или читать в некотором пакете
Я очень новичок в Кафке. Мы пишем потребителю в нашем текущем приложении, которое использует тему и имеет некоторую обработку потребляемых данных. Я хочу понять, что происходит внутри ...
вопрос задан: 15 April 2019 02:20
1
ответ
Кафка в режиме реального времени потоковое против микро сервисов
Существует ли минимальная скорость сообщения в Гбит / с, необходимая для выбора Кафки для потоковой передачи в реальном времени? Можем ли мы справиться с очень низким уровнем сообщений в Кафке?
вопрос задан: 1 April 2019 22:49
1
ответ
WSO2 SP - источник Кафки с атрибутами JSON
Я пытаюсь прочитать данные JSON из Kafka, используя следующий код: @source (type = 'kafka', bootstrap.servers = 'localhost: 9092', topic.list = 'TestTopic', group.id = 'test', threading.option = 'одиночный ....
вопрос задан: 27 March 2019 12:20
1
ответ
Как потребитель кафки одной и той же группы делится сообщениями между ними?
Скажем, есть группа потребителей. (Потребители с одинаковым идентификатором группы). Потребительская группа потребляет Тему А от Брокера. Тема А имеет 4 раздела, и в этой группе 4 потребителя. Каждый ...
вопрос задан: 22 March 2019 05:09
1
ответ
Сколько ресурсов операционной системы необходимо для одного потребителя Java Kafka?
Я хочу использовать сотни тысяч KafkaConsumer. Например, мне нужно 100_000 потребителей для какого-то архитектурного шаблона. Я думаю, это нормально? Или я должен реорганизовать свою систему и использовать несколько ...
вопрос задан: 27 February 2019 18:35
1
ответ
Каковы негативные последствия установки max.poll.interval.ms больше, чем request.timeout.ms в пользовательских конфигах Kafka
Согласно документации Кафки; Новый Java Consumer теперь поддерживает сердцебиение из фонового потока. Существует новая конфигурация max.poll.interval.ms, которая контролирует максимальное время ...
вопрос задан: 22 February 2019 07:58
1
ответ
как остановить потребителя kafka python после получения записи, которую я хочу, и выполнить остальные процессы
Я хотел бы использовать все сообщения, начиная с начала, каждый раз, когда я запускаю потребителя в python и останавливаюсь, если я получаю желаемую запись и заканчиваю потребителя, а затем продолжаю остальные процессы.
вопрос задан: 21 February 2019 05:58
1
ответ
Кафка подписаться только на последнее сообщение?
Иногда (кажется очень случайным) Кафка отправляет старые сообщения. Я хочу только самые последние сообщения, поэтому он перезаписывает сообщения с тем же ключом. В настоящее время, похоже, у меня есть несколько сообщений с одним и тем же ключом это ...
вопрос задан: 18 January 2019 18:23
1
ответ
kafka-node асинхронный потребительский обработчик
Вот как инициализируется мой потребитель: const client = new kafka.Client (config.ZK_HOST) const consumer = new kafka.Consumer (клиент, [{topic: config.KAFKA_TOPIC, смещение: 0}], {autoCommit: false}). ..
вопрос задан: 18 January 2019 05:33
1
ответ
Могу ли я получить, чтобы все потребители группы потребляли сообщения со всех разделов темы кафки?
Допустим, в Кафке у меня есть 4 раздела на тему «А», и у меня есть 20 потребителей группы потребителей «АС». Мне не нужно никаких заказов, но я хочу обрабатывать сообщения быстрее, масштабируя моего потребителя ...
вопрос задан: 17 January 2019 19:48
1
ответ
Что означает & ldquo; Rebalancing & rdquo; значит в контексте Apache Kafka?
Я новый пользователь Kafka и пробовал его уже 2-3 недели. Я полагаю, что на данный момент я хорошо понимаю, как работает Kafka по большей части, но после попытки приспособить API ...
вопрос задан: 29 May 2018 10:21
0
ответов
Основной класс не финский, чтобы запустить приложение весной Java
Я пытаюсь запустить мое весеннее приложение в Eclipse, но кажется, что запуск процесса запуска не заканчивается, когда я выбираю RightBtn -> Run as -> Spring boot App. На самом деле затмение развертывается ...
вопрос задан: 1 April 2019 21:06
0
ответов
Kafka multi thread Consumer miss Некоторые сообщения после некоторой цепочки ожидают ожидания
Я использую пружинный каркас и кафку с 6-ю потребительскими нитками. после того, как 2 потока одной группы потребителей заблокированы для вызова конечной точки мыла в течение более 30 минут (я знаю, что должен это исправить!) ...
вопрос задан: 23 March 2019 05:34
0
ответов
Кафка для использования текстовых файлов сообщений
У меня есть требование подписаться на файлы сообщений в реальном времени, которые могут быть опубликованы из уже существующей установки MQ на стороне клиента в модели pub-sub. Когда я подписываюсь на тему MQ, чтобы ...
вопрос задан: 21 March 2019 20:28
0
ответов
Изменение баланса потребителей Kafka и его влияние
Я новичок в Kafka и пытаюсь создать библиотеку-обертку на Java и Go (использует Confluent / Kafka-Go) для внутреннего использования Kafka. Для моего варианта использования CommitSync - это важный шаг, и мы должны ...
вопрос задан: 18 March 2019 02:30
0
ответов
Могут ли несколько потребителей Kafka прочитать одно и то же сообщение из раздела
Мы планируем написать потребитель Kafka (java), который читает очередь Kafka для выполнения действия, которое содержится в сообщении. Поскольку потребители работают независимо, будет ли сообщение обрабатываться только одним ...
вопрос задан: 25 December 2018 16:12
0
ответов
Удалить сообщение после использования в KAFKA
Я использую Apache Kafka для производства и потребления файла размером 5 ГБ. Я хочу знать, есть ли способ, когда сообщение из темы автоматически удаляется после его использования. Есть ли у меня способ ...
вопрос задан: 3 November 2016 01:56
0
ответов
как установить имя группы при потреблении сообщений в кафке с помощью командной строки
Любая идея, как установить имя группы при потреблении сообщений в kafka с помощью командной строки. Я попытался с помощью следующей команды: bin / kafka-console-consumer.sh --zookeeper localhost: 2181 --topic nil_RF2_P2 --...
вопрос задан: 24 July 2016 07:49
0
ответов
Как происходит перебалансирование потребителей в Кафке?
Когда новый потребитель / посредник добавляется или выходит из строя, Kafka запускает операцию восстановления баланса. Является ли Кафка ребалансировкой операции блокировки? Блокируются ли потребители Kafka, когда происходит операция по восстановлению бал
вопрос задан: 17 July 2015 18:01
0
ответов
Как читать данные, используя Kafka Consumer API с самого начала?
Кто-нибудь может подсказать, как с самого начала читать сообщения, используя Kafka Consumer API, каждый раз, когда я запускаю потребительский jar.
вопрос задан: 17 February 2015 12:13