0
ответов
Производить партию сообщений от Кролика до Кафки
У меня есть потребитель RabbiMQ, который принимает сообщения по одному за раз. И мне нужно отправить эти сообщения в тему Kafka (используя confluent-kafka-dotnet). Как я могу сделать это надежно и не слишком медленно? ...
вопрос задан: 18 January 2019 14:51
0
ответов
Apache flink-kafka Добавление нескольких потребителей в одну группу потребителей flink-kafka
Я читаю тему «ABC», в которой есть 5 разделов, но на самом деле, когда я создал группу потребителей (то есть Flinkkafkaconsumer09), у нее только один экземпляр потребителя, и этот потребитель потребляет все ...
вопрос задан: 18 January 2019 13:52
0
ответов
Можно ли настроить защищенную (SSL) кафку с помощью Telegraf?
Начал работать со стеком TICK, я новичок в этом. Выделенный компьютер назначен для TICK для запуска и получения данных. Для начала я отправил метрики из 3 экземпляров в стек TICK, используя udp и ...
вопрос задан: 18 January 2019 12:31
0
ответов
Разработка таблицы HBase для отслеживания состояния сложного объекта
У меня есть приложение для потокового воспроизведения, которое отвечает за объединение данных JSON с разных платформ в одну большую сущность. Куски данных могут быть идентифицированы как принадлежащие одному объекту по ...
вопрос задан: 17 January 2019 17:48
0
ответов
Как читать записи с определенного смещения до конца от кафки в Spark?
У меня есть сценарий от производителя консоли, я создал 4 сообщения, и с помощью spark я смог получить эти 4 сообщения с помощью метода spark.read (). Теперь сценарий такой, когда я произвожу 3 ...
вопрос задан: 17 January 2019 10:47
0
ответов
Вопрос об использовании @KafkaListener autoStartup = & ldquo; false & rdquo; для нескольких тем
Со следующим @KafkaListener (id = "id1", autoStartup = "false", themes = {"topic1", "topic2"} spring.kafka.consumer.auto-offset-reset = самые ранние Предположим, в каждом есть несколько сообщений. ..
вопрос задан: 16 January 2019 16:18
0
ответов
Как выставить порты кафки-брокеров извне в Kubernetes на частном / публичном VPC AWS
Я не могу получить доступ к брокерам Kafka извне (с публичного IP-адреса). Я использую https://github.com/Yolean/kubernetes-kafka Это очень хорошее руководство, но я считаю, что их встроенный метод разоблачения ...
вопрос задан: 16 January 2019 14:52
0
ответов
Kafka Streams уравновешивает всплески задержки на высокопроизводительных сервисах kafka-streams
мы начинаем работать с потоками Kafka, наш сервис очень прост в использовании без сохранения состояния. У нас жесткие требования к задержке, и мы сталкиваемся со слишком большими задержками, когда группа потребителей ...
вопрос задан: 16 January 2019 14:05
0
ответов
Кафка + описание лидеров и репликации одного из лидеров не существует
у нас есть (3 машины kafka) идентификаторы брокеров kafka - являются (101, 102, 103) версия ambari - 2.6.1 hadoop version 2.6.5 29 машин датоде 3 журнальных машины (главные машины), когда мы запускаем ...
вопрос задан: 16 January 2019 13:08
0
ответов
производитель кафки занимает гораздо больше времени при записи на большее количество разделов
у нас есть 5 брокеров кафки, фактор репликации 3 и 2 темы - T1 и T2. Тема T1 имеет 100 разделов, T2 имеет 6. при записи с производителем kafka (используя KafkaProducer.send ()) на T1 и T2, ...
вопрос задан: 16 January 2019 12:08
0
ответов
Как реализовать Точно-Однократную Транзакцию в Spring Boot, используя kafkaTemplate
Я пытаюсь реализовать только один раз транзакцию в весенней загрузке. Где я могу получить фрагмент для этого. заранее спасибо.
вопрос задан: 16 January 2019 11:20
0
ответов
Кафка MirrorMaker неожиданно вылетает
Я пытаюсь воспроизвести производственный трафик на тестовом экземпляре Kafka с помощью MirrorMaker. У меня есть пакетная работа, которая отстает от моих брокеров Kafka каждые 15 минут. Тем не менее, мой Кафка MirrorMaker не удается ...
вопрос задан: 15 January 2019 18:23
0
ответов
Могут ли несколько потребителей Kafka прочитать одно и то же сообщение из раздела
Мы планируем написать потребитель Kafka (java), который читает очередь Kafka для выполнения действия, которое содержится в сообщении. Поскольку потребители работают независимо, будет ли сообщение обрабатываться только одним ...
вопрос задан: 25 December 2018 16:12
0
ответов
KStreams + Spark Streaming + Машинное обучение
Я делаю POC для запуска алгоритма машинного обучения на потоке данных. Моя первоначальная идея состояла в том, чтобы взять данные, использовать Spark Streaming -> Aggregate Data из нескольких таблиц -> запустить MLLib on Stream of ...
вопрос задан: 29 November 2018 10:57
0
ответов
Перечислите все темы Кафки
Я использую Кафку 0.10 без зоопарка. Я хочу получить список тем Кафки. Эта команда не работает, так как мы не используем zookeeper: bin / kafka-topics.sh --list --zookeeper localhost: 2181. Как я могу ...
вопрос задан: 14 November 2018 19:25
0
ответов
CommitFailedException Подтверждение не может быть завершено, так как группа уже перебалансировала и присвоила разделы другому участнику.
Я использовал kafka 0.10.2 и теперь столкнулся с CommitFailedException. Например: фиксация не может быть завершена, так как группа уже перебалансировала и присвоила разделы другому участнику. Это означает ...
вопрос задан: 1 November 2018 17:40
0
ответов
От чего зависит потребительское смещение Кафки?
Я относительно новичок в Кафке. Я немного поэкспериментировал с этим, но некоторые вещи мне неясны в отношении компенсации потребителю. Из того, что я понял до сих пор, когда потребитель начинает, ...
вопрос задан: 19 October 2018 08:37
0
ответов
Как получить информацию обо всех брокерах из кластера kafka
Как получить полную информацию обо всех брокерах (подключенных / отключенных) от kafka cluster / zookeeper? Я нашел следующий способ получить только активных брокеров, но я хочу, чтобы IP-адрес ...
вопрос задан: 14 July 2018 00:37
0
ответов
NoSuchMethodError на темуCommand.createTopic в Кафке
Я новичок в Kafka, и сейчас я пытаюсь сделать UT на Java и каждый раз получаю ту же проблему. Я работаю с Java 8, Kafka 2.11-1.1.0, моим zookeeper и сервером. Мой класс выглядит ...
вопрос задан: 13 July 2018 17:42
0
ответов
API-интерфейс kafka AdminClient Время ожидания назначения узла
Я новичок в Kafka и пытаюсь использовать API AdminClient для управления сервером Kafka, работающим на моем локальном компьютере. У меня есть настройка точно так же, как в разделе быстрого запуска Kafka ...
вопрос задан: 13 July 2018 16:23
0
ответов
Kafka-Manager показывает неактивные группы потребителей и неправильную задержку
У меня есть кластер kafka из 3 отдельных физических узлов, каждый из которых состоит из 1 zk и 1 брокера. Мы используем Kafka 0.10.1.1. Темы создаются на ансамбле ZK, а брокеры подключаются к ZK ...
вопрос задан: 13 July 2018 10:00
0
ответов
Spring Kafka Producer не отправляет в Kafka 1.0.0 (Magic v1 не поддерживает заголовки записей)
Я использую эту настройку docker-compose для локальной настройки Kafka: https://github.com/wurstmeister/kafka-docker/ docker-compose up работает отлично, создание тем через shell работает нормально. Теперь я пытаюсь ...
вопрос задан: 26 December 2017 14:17
0
ответов
Конфигурация сервера Kafka - слушатели и рекламодатели.
Чтобы запустить Kafka, вам нужно установить некоторые свойства в файле config / server.properties. Есть две настройки, которые я не понимаю. Может кто-нибудь объяснить разницу между слушателями и ...
вопрос задан: 29 May 2017 08:02
0
ответов
Тест топологии потоков Кафки
Я ищу способ протестировать приложение Kafka Streams. Чтобы я мог определить входные события, а набор тестов показывает мне вывод. Это возможно без реальной настройки Kafka?
вопрос задан: 24 January 2017 18:20
0
ответов
Кафка-консоль-продюсер и bash скрипт
Хочу отправить какое-то сообщение с помощью bash-скрипта. bin / zookeeper-server-start.sh config / zookeeper.properties> zookeeper.log 2> & 1 & sleep 2 bin / kafka-server-start.sh config / server.properties & ...
вопрос задан: 12 January 2017 20:24
0
ответов
Кафка только один потребитель в группе потребителей получает сообщения
В моей настройке у меня есть группа потребителей с тремя процессами (3 экземпляра службы), которые могут использовать Kafka. Я обнаружил, что случается, что первый узел получает весь трафик. ...
вопрос задан: 8 November 2016 21:21
0
ответов
Удалить сообщение после использования в KAFKA
Я использую Apache Kafka для производства и потребления файла размером 5 ГБ. Я хочу знать, есть ли способ, когда сообщение из темы автоматически удаляется после его использования. Есть ли у меня способ ...
вопрос задан: 3 November 2016 01:56
0
ответов
Кафка с .Net клиентом
Я хочу использовать Кафку в нашей производственной среде. Я хочу знать, если последняя версия клиента без ошибок для запуска производства. Работает ли это с группой потребителей? Я хочу передать 10000 записей за ...
вопрос задан: 2 November 2016 09:48
0
ответов
как установить имя группы при потреблении сообщений в кафке с помощью командной строки
Любая идея, как установить имя группы при потреблении сообщений в kafka с помощью командной строки. Я попытался с помощью следующей команды: bin / kafka-console-consumer.sh --zookeeper localhost: 2181 --topic nil_RF2_P2 --...
вопрос задан: 24 July 2016 07:49
0
ответов
Разница между редисом и кафкой [закрыто]
Я новичок в Redis и Kafka. Redis можно использовать как паб-саб в реальном времени. Однако Кафка также является пабом в реальном времени. Я запутался, какой использовать когда. Любой случай использования будет отличной помощью! Спасибо!
вопрос задан: 23 June 2016 11:49