5
ответов
spark-streaming-kafka не работает с scala-library [duplicate]
Я пытаюсь настроить интеграцию kafka_2.11-1.1.0 с помощью spark-2.2.0. Согласно официальным документам отсюда https://spark.apache.org/docs/2.2.0/structured-streaming-kafka-integration.html У меня есть ...
вопрос задан: 14 January 2017 23:28
5
ответов
Как добавить поддержку pystack kafka? [Дубликат]
Я хотел бы запустить некоторый скрипт pystack с поддержкой kafka, например https://github.com/apache/spark/blob/v2.2.1/examples/src/main/python/sql/streaming/structured_kafka_wordcount.py. Я знаю, что я можешь использовать ...
вопрос задан: 3 March 2016 20:41
4
ответа
за подтверждение сообщения в Kafka / RabbitMQ
У нас есть рабочий кролик. Реализация, из-за объема, мы планируем перейти на кафку. У меня есть сомнения в одном месте. В rabbitMQ, когда потребитель потребляет сообщение от Q, сообщение ...
вопрос задан: 2 March 2019 23:24
4
ответа
kafka на сервере A, однако потребитель в B-сервере [дубликат]
Я успешно запускаю сервер Kafka на компьютере. Тем не менее, я запускаю пользователя Kafka на компьютере B, команда и результат: команда: bin / kafka-console-consumer.sh --bootstrap-server 192.168.78 ....
вопрос задан: 26 January 2015 08:58
4
ответа
Эффективные способы отсортировать деку фактических карт
Я часто должен сортировать деки карт. Это карты "коллектора", пронумерованные от 1 до 216 и существует, удваивается и недостающие числа. Я ищу сортировку алгоритмов, которые работают хорошо с медосмотром...
вопрос задан: 25 July 2010 17:24
3
ответа
Генератор случайных данных Avro на Java / Scala
Возможно ли генерировать случайные данные Avro по указанной схеме с использованием библиотеки org.apache.avro? Мне нужно произвести эти данные с Кафкой. Я пытался найти какой-то генератор случайных данных для ...
вопрос задан: 18 January 2019 09:52
3
ответа
Как добиться порядка вставки из многопоточности производителя Kafka
У меня есть Ingres DB с таблицей истории, которая регистрирует события БД, такие как вставка обновления и удаления. У меня есть продюсер, который будет многопоточным. Этот производитель будет читать таблицу истории, чтобы найти ...
вопрос задан: 15 January 2019 19:32
2
ответа
Поддержка Apache Camel Kafka для реестра Confluent схемы
Я пытаюсь создать верблюжий маршрут с компонентом kafka, пытаясь использовать события с io.confluent.kafka.serializers.KafkaAvroDeserializer и schemaRegistry url вместе с другими параметрами компонента. ...
вопрос задан: 29 March 2019 16:29
2
ответа
Что может быть хорошим способом получения обновлений для SQL Server в режиме реального времени?
Я пытаюсь найти способ копировать данные из SQL Server 2014 и 2017 каждый раз, когда в таблицу выполняется вставка или обновление. Я пытаюсь сделать это в режиме реального времени, чтобы вставить эти значения в другое ...
вопрос задан: 24 March 2019 04:50
2
ответа
Кафка передела
Насколько я понимаю, разделы и потребители связаны отношениями 1: 1, в которых один пользователь обрабатывает раздел. Однако есть ли такой способ передела в середине ...
вопрос задан: 19 March 2019 11:09
2
ответа
Как процессор потокового процессора (API низкого уровня) получает данные из темы?
Я новичок в потоковом процессоре kafka и натолкнулся на ключевую концепцию «топологии». Я создал процессор исходного кода, который читает из «темы-источника» следующим образом: Topology topology = new Topology (); ...
вопрос задан: 19 March 2019 09:17
2
ответа
Отправка списка производителю Kafka с использованием python
У меня есть несколько списков, которые я хочу отправить через продюсера Kafka. listA [1,2,3] listB ["cat", "dog", "fish"] производитель отправляет сообщения в байтах, поэтому я не уверен, как правильно настроить ...
вопрос задан: 19 March 2019 00:23
2
ответа
Горизонтальный стручок автомасштабирования не может прочитать метрики
Я использую диаграммы Кафки Хелма отсюда. Я пытался горизонтальный Pod Autoscaler для того же. Я добавил файл hpa.yaml, как указано ниже, внутри папки шаблонов. apiVersion: автомасштабирование / v2beta1 вид: ...
вопрос задан: 18 March 2019 19:07
2
ответа
Кафка выполняет балансировку разделов для каждого потока потребителя?
У меня есть кластер Kafka с несколькими темами, я собираюсь установить один раздел для каждой темы, и все эти темы будут использоваться одним экземпляром EC2, запущенным с 3 потоками Kafka Consumer (Один ...
вопрос задан: 30 January 2019 14:11
2
ответа
идентификатор группы потребителей по умолчанию в кафке
Я работаю с Kafka 2.11 и довольно новым для него. Я пытаюсь понять группы потребителей kafka, у меня есть 3 горячих приложения, использующих одну и ту же тему, и каждое из них получает все
вопрос задан: 17 January 2019 11:21
2
ответа
Потребитель потребляет из разделов реплики, если несколько потребителей работают в одной группе потребителей?
Я пишу потребительское приложение kafka. У меня есть тема с 4 разделами - 1 лидер и 3 последователи. Производитель использует ключ, чтобы идентифицировать раздел для отправки сообщения. Если я напишу потребителю и ...
вопрос задан: 16 January 2019 10:56
2
ответа
Сборка приложения Go с использованием confluent-kafka-go в Linux
Я пытаюсь создать образ докера с помощью приложения go. Приложение (которое было разработано на MacOS) зависит от confluent-kafka-go, который, в свою очередь, зависит от librdkafka-dev, который я устанавливаю в ...
вопрос задан: 15 January 2019 15:53
2
ответа
Как скрыть или отфильтровать отладочное или информационное сообщение во время использования темы [дубликат]
Я пытаюсь получить все сообщения темы с помощью командной строки. Но я всегда получаю отладочное и информационное сообщение, которое немного раздражает, чтобы увидеть фактические сообщения. Я использую эту командную строку ...
вопрос задан: 24 February 2016 13:05
2
ответа
Как показать журналы в браузере с помощью Angular [duplicate]
У меня есть веб-приложение, использующее Flask для веб-фреймворка и Angular для front-end. Я хочу отображать журналы, связанные с действиями бэкэнд в браузере, и журналы не должны быть удалены, если только ...
вопрос задан: 21 February 2016 22:04
1
ответ
Является ли метод consumer.createMessageStreams (map) читать последовательно или читать в некотором пакете
Я очень новичок в Кафке. Мы пишем потребителю в нашем текущем приложении, которое использует тему и имеет некоторую обработку потребляемых данных. Я хочу понять, что происходит внутри ...
вопрос задан: 15 April 2019 02:20
1
ответ
Кафка в режиме реального времени потоковое против микро сервисов
Существует ли минимальная скорость сообщения в Гбит / с, необходимая для выбора Кафки для потоковой передачи в реальном времени? Можем ли мы справиться с очень низким уровнем сообщений в Кафке?
вопрос задан: 1 April 2019 22:49
1
ответ
Есть ли способ подключить один Confluent Control Center к нескольким кластерам Kafka?
У меня есть несколько экземпляров Kafka и только один Confluent Control Center. Является ли это возможным?
вопрос задан: 29 March 2019 16:25
1
ответ
NullPointerException в кафке
Я хочу записать данные из Kafka в базу данных MySQL. Я реализовал следующий код. kafkaConsumer.subscribe (Arrays.asList (topicName)); попробуй {пока (правда) {...
вопрос задан: 29 March 2019 14:15
1
ответ
Используйте kafka для обнаружения изменений в значениях
У меня есть потоковое приложение, которое непрерывно принимает поток координат вместе с некоторыми пользовательскими метаданными, которые также включают цепочку битов. Этот поток создается на тему кафки с использованием ...
вопрос задан: 29 March 2019 08:43
1
ответ
WSO2 SP - источник Кафки с атрибутами JSON
Я пытаюсь прочитать данные JSON из Kafka, используя следующий код: @source (type = 'kafka', bootstrap.servers = 'localhost: 9092', topic.list = 'TestTopic', group.id = 'test', threading.option = 'одиночный ....
вопрос задан: 27 March 2019 12:20
1
ответ
SSL KafkaAdminClient объект с использованием объекта java.security.Keystore
Мне нужно создать SSL-объект kafkaAmdinClient, используя объект java.security.keystore. Т.е. я должен прочитать файлы хранилища ключей и доверенных сертификатов из базы данных в виде сгустка и получить хранилище ключей в java.security ....
вопрос задан: 23 March 2019 00:04
1
ответ
Как потребитель кафки одной и той же группы делится сообщениями между ними?
Скажем, есть группа потребителей. (Потребители с одинаковым идентификатором группы). Потребительская группа потребляет Тему А от Брокера. Тема А имеет 4 раздела, и в этой группе 4 потребителя. Каждый ...
вопрос задан: 22 March 2019 05:09
1
ответ
Не удается настроить группу потребителей в Кафке с Python
Я новичок в Kafka, и я попробовал пакет Kafka-Python. Мне удалось настроить простого производителя и потребителя, который может отправлять и получать сообщения. В этом случае потребитель без использования потребителя ...
вопрос задан: 19 March 2019 08:37
1
ответ
Могу ли я установить группу Kafka Stream для потребителей?
Я использую библиотеку Kafka Stream для потокового приложения. Я хотел установить идентификатор группы потребителей kafka. Затем я поставил конфигурацию потока Kafka, как показано ниже. streamsCopnfiguration.put (StreamsConfig ....
вопрос задан: 19 March 2019 08:23
1
ответ
Как мне транслировать видеофайл с помощью Kafka?
Я пытаюсь отправить несколько файлов .mp4 в виде потоковых сообщений kafka. Я пытался следовать тому же подходу, что и для текстовых сообщений, но это не сработало. Значит ли это, что мне нужен специальный кодер / декодер / ...
вопрос задан: 18 March 2019 18:44