Как кодировать/декодировать сообщения Kafka с помощью двоичного кодировщика Avro?
Я пытаюсь использовать Avro для сообщений, читаемых из/записываемых в Kafka. Есть ли у кого-нибудь пример использования двоичного кодировщика Avro для кодирования/декодирования данных, которые будут помещены в очередь сообщений?
Мне больше нужна часть Avro, чем часть Kafka. Или, возможно, мне стоит обратить внимание на другое решение? По сути, я пытаюсь найти более эффективное решение для JSON с точки зрения пространства. Avro был просто упомянут, поскольку он может быть более компактным, чем JSON.
1 ответ
Я, наконец, вспомнил, чтобы спросить список рассылки Kafka, и получил в ответ следующее, что отлично сработало.
.Да, вы можете отправлять сообщения в виде байтовых массивов. Если вы посмотрите на конструктор класса Message, вы увидите -
def this (bytes: Array [Byte])
Теперь рассмотрим API-интерфейс источника () -
def send (providerData: ProducerData [K, V] *)
Вы можете установить тип V для сообщения, а для K - то, что вы хотите, чтобы ваш ключ был. Если вас не волнует разделение с помощью ключа, установите для него также Тип сообщения.
Спасибо, Неха.