1
ответ
В чем разница между Apache kafka и ActiveMQ
Я работаю над Apache Kafka. Я хочу знать, какой из них лучше: Кафка или ActiveMQ. В чем главное отличие этих двух технологий? Я хочу реализовать Кафку в Spring MVC.
вопрос задан: 15 May 2018 06:56
0
ответов
Чистка Кафка Тема
Я поместил сообщение, которое было слишком большим, в тему сообщений kafka на моем локальном компьютере, теперь я получаю сообщение об ошибке: kafka.common.InvalidMessageSizeException: недопустимый размер сообщения. Увеличение размера fetch.size ...
вопрос задан: 8 June 2019 11:10
0
ответов
Архитектура одного производителя и нескольких потребителей в получении рыночных данных от фондовой биржи
У меня есть сценарий, который мне нужно использовать один производитель (фондовая биржа), которые предоставляют рыночные данные. Каждое сообщение рыночных данных содержит («символ», «цена» и «отметка времени»). Между тем у меня 3 потребителя (...
вопрос задан: 12 May 2019 21:10
0
ответов
Невозможно запустить сливную платформу Kafka
Я следую этому уроку. И в соответствии с инструкциями я скачал отсюда платформу и клонировал репозиторий github для кода. Загруженная платформа находится в заархивированном виде, поэтому я разархивировал ее и ...
вопрос задан: 14 April 2019 03:34
0
ответов
Kafka Python, как отслеживать потребителя, запущенного в другом процессе
Я довольно новичок в Python и только начинаю с Kafka, так что извините мою терминологию, если я где-то ошибаюсь. Итак, у меня есть веб-приложение на основе Django, куда я отправляю сообщения json через ...
вопрос задан: 8 April 2019 07:04
0
ответов
Как обработать входной DStream, разделив его на RDD для печати сообщений Kafka?
Я создаю Spark Streaming Application и хочу обрабатывать каждое сообщение Кафки отдельно. Сейчас я хочу просто записать значения сообщений, чтобы проверить, что все работает. Но когда я пытаюсь напечатать ...
вопрос задан: 1 April 2019 22:03
0
ответов
Как истекает смещение для группы потребителей Apache Kafka?
Я делал несколько тестов на старую тему, когда заметил странное поведение. Читая журнал Кафки, я заметил это сообщение «удалено 8 истекших смещений»: [GroupCoordinator 1001]: Стабилизированная группа ...
вопрос задан: 1 April 2019 21:07
0
ответов
Подтверждение производителя Kafka на основе batch.size (микропакет)
Продюсер Кафки имеет возможность выполнять микропакеты для операции отправки на основе batch.size и linger.ms для повышения производительности производителя. Однако даже если сообщения ...
вопрос задан: 31 March 2019 02:40
0
ответов
Хранилище состояний Kafka пусто, а метод metadataForKey возвращает текущий экземпляр для необходимого ключа
У меня есть несколько экземпляров потокового приложения Kafka. Чтобы запросить ключ из магазина, я вызвал streams.metadataForKey с необходимым ключом. Этот метод возвращает сведения об экземпляре для магазина ...
вопрос задан: 27 March 2019 02:00
0
ответов
Как исправить проблему с Kafka для JUnit?
Я хочу использовать Kafka для JUnit, поэтому добавил эту зависимость: < dependency > < идентификатор_группа > net.mguenther.kafka & л; / идентификатор_группа > < артефакт > Кафка-JUnit & л; / артефакт > & Л; ...
вопрос задан: 26 March 2019 16:19
0
ответов
Kafka Streams: как получить первую и последнюю запись SessionWindow?
По умолчанию .windowedBy (SessionWindows.with (Duration.ofSeconds (60)) возвращает запись для каждой входящей записи. В сочетании с .count () и .filter () легко получить первую запись. Используя ... ,
вопрос задан: 26 March 2019 16:17
0
ответов
Как масштабировать потребителя кафки в реальном времени без перебалансирования задержки?
При увеличении / уменьшении потребителей (добавление или удаление потребителей в группу) происходит перебалансировка - это создает некоторые проблемы с задержкой в системе, что приводит к возникновению тайм-аута. (видел около 3 сек продюсера до ...
вопрос задан: 25 March 2019 20:11
0
ответов
Kafka multi thread Consumer miss Некоторые сообщения после некоторой цепочки ожидают ожидания
Я использую пружинный каркас и кафку с 6-ю потребительскими нитками. после того, как 2 потока одной группы потребителей заблокированы для вызова конечной точки мыла в течение более 30 минут (я знаю, что должен это исправить!) ...
вопрос задан: 23 March 2019 05:34
0
ответов
Кафка для использования текстовых файлов сообщений
У меня есть требование подписаться на файлы сообщений в реальном времени, которые могут быть опубликованы из уже существующей установки MQ на стороне клиента в модели pub-sub. Когда я подписываюсь на тему MQ, чтобы ...
вопрос задан: 21 March 2019 20:28
0
ответов
Акка стрим кафка CommitableSource
Интересно, если коммитируемый источник, опросить новые записи только тогда, когда записи фиксируются на другом конце потоков. То есть может ли он продолжать опрос и получать новые записи, даже если записи ...
вопрос задан: 19 March 2019 08:47
0
ответов
Изменение баланса потребителей Kafka и его влияние
Я новичок в Kafka и пытаюсь создать библиотеку-обертку на Java и Go (использует Confluent / Kafka-Go) для внутреннего использования Kafka. Для моего варианта использования CommitSync - это важный шаг, и мы должны ...
вопрос задан: 18 March 2019 02:30
0
ответов
Как встроить или смоделировать kafka в Spring многомодульных тестах интеграции проекта
Уважаемые, мне нужно добавить некоторые интеграционные тесты ко многим ресурсам в проекте, над которым мы работаем, который использует Kafka, но до сих пор я не смог запустить только один экземпляр Embedded Kafka во всех тестах ...
вопрос задан: 11 March 2019 14:20
0
ответов
из pyspark_ext import * выдает ошибку: ModuleNotFoundError: нет модуля с именем 'pyspark_ext
Я пытаюсь создать конвейер в реальном времени от Кафки до HBase, используя Pyspark, используя блог: https://datafloq.com/read/real-time-kafka-data-ingestion-into-hbase-pyspark/2658 Ошибка ниже когда ...
вопрос задан: 10 March 2019 19:20
0
ответов
Чтение записи последнего раздела Kafka, записанного в транзакции
Я пытаюсь прочитать последнюю запись раздела темы. Производитель темы пишет транзакционно. Потребитель настроен с изоляцией .level = read_committed. Я управляю смещениями вручную. ...
вопрос задан: 7 March 2019 08:11
0
ответов
Почему rdd всегда пуст во время загрузки данных Кафки в реальном времени в HBase через PySpark?
В соответствии с этим руководством я пытаюсь выполнить в реальном времени ввод данных Kafka в HBase через PySpark. Кажется, все работает нормально. Я запускаю Кафку Судо /usr/local/kafka/bin/kafka-server-start.sh / ...
вопрос задан: 4 March 2019 20:49
0
ответов
агрегация ksql без KTable
У меня есть запрос ksql, который объединяет два потока, выполняет оконную агрегацию, сгруппированную по event_time и ключу. Запрос выглядит примерно так: select l.event_time, l.mykey, max (l.val), max (r .. ..
вопрос задан: 28 February 2019 22:28
0
ответов
Бесконечный поток и массовая запись в базу данных
У меня есть бесконечный поток (от kafka, использующего реактор-kafka) событий, которые я пытаюсь записать пакетами в базу данных, прежде чем перейти к фактической обработке событий. Моя проблема состоит в том, чтобы заставить это работать ...
вопрос задан: 26 February 2019 18:31
0
ответов
Кафка испорченное сообщение
Я пытаюсь опубликовать данные в kafka, читая данные из TeradataDB с помощью Kafka-Connect JDBCSourcConnector. Сообщение при просмотре у потребителя кажется поврежденным, как показано ниже. Пожалуйста, помогите. ...
вопрос задан: 21 February 2019 21:15
0
ответов
Как отделить потребителя от группы потребителей, не теряя смещения?
У меня есть группа потребителей logstash kafka, подписавшаяся почти на 20 тем, которые не очень хорошо подходят для обработки определенной темы с высоким приоритетом, поэтому я решил удалить одну тему из ...
вопрос задан: 17 February 2019 17:33
0
ответов
Потребитель Confluent.Kafka - Безопасное отключение, если в теме нет сообщений
Я реализовал потребитель Kafka, используя .net core 2.1 с Confluent.Kafka SDK (C #). Функция опроса настроена на запуск в течение 10 минут, а код развернут как лямбда-функция AWS, которая ...
вопрос задан: 27 January 2019 18:25
0
ответов
Как настроить брокеров кафки за TCP прокси
Я пытаюсь настроить кластер Kafka за потоком nginx. Моя кафка работает в виртуальной машине внутри виртуальной сети (зона интрасети), у меня есть другая виртуальная машина, в которой работает nginx (зона Интернета). Я хочу быть в состоянии ...
вопрос задан: 21 January 2019 06:03
0
ответов
Как позвонить использовать Кафку транзакционный производитель из микросервиса
Я строю планировщик корпоративных событий на основе потоков Kafka. Запланированные события собираются или генерируются из микросервисов в облаке. Каждый микросервис будет иметь около 200 рабочих ...
вопрос задан: 20 January 2019 00:21
0
ответов
Kafka Streams - пунктуатор расписания процессора по выражению cron
ProcessorContext.schedule (..) принимает параметр интервала продолжительности, и мы можем указать, что какое-то действие (пунктуатор) будет выполняться через каждый интервал времени X (например, каждый час). С таким планированием, ...
вопрос задан: 20 January 2019 00:08
0
ответов
не могу остановить предварительную загрузку сообщений kafka потребителю
Я использую kafka spark Direct API, чтобы использовать тему кафки. Когда нагрузка высока, моя искровая работа не поглощает сразу все незафиксированные сообщения, а потребляет небольшие партии за другой. Что вызывает ...
вопрос задан: 20 January 2019 00:07
0
ответов
Соединитель преобразует неправильно карты ключ раздела
У меня есть простая таблица базы данных в MySQL, которая имеет (id varchar (255), val varchar (255), ..., ...). Я настроил Kafka Connect для потоковой передачи таблицы в тему (CONNECT_TOPIC) с двадцатью разделами. Я имею ...
вопрос задан: 18 January 2019 23:38