3
ответа
Генератор случайных данных Avro на Java / Scala
Возможно ли генерировать случайные данные Avro по указанной схеме с использованием библиотеки org.apache.avro? Мне нужно произвести эти данные с Кафкой. Я пытался найти какой-то генератор случайных данных для ...
вопрос задан: 18 January 2019 09:52
1
ответ
Как кодировать/декодировать сообщения Kafka с помощью двоичного кодировщика Avro?
Я пытаюсь использовать Avro для сообщений, читаемых из/записываемых в Kafka. Есть ли у кого-нибудь пример использования двоичного кодировщика Avro для кодирования/декодирования данных, которые будут помещены в очередь сообщений? Мне нужно ...
вопрос задан: 17 February 2019 15:47
1
ответ
Не ошибка файла данных при чтении файла Avro
У меня есть файл с данными в формате Avro. Я хотел бы прочитать эти данные в структуру данных типа GenericRecord или любую другую структуру данных типа, чтобы иметь возможность отправлять их из Kafka в Spark. ...
вопрос задан: 17 January 2019 19:38
1
ответ
Соединитель раковины Kafka не работает: схема не найдена; код ошибки: 40403
У меня есть соединитель приемника со следующей конфигурацией {"name": "sink-test-mariadb-MY_TOPIC", "config": {"connector.class": "io.confluent.connect.jdbc.JdbcSinkConnector", ...
вопрос задан: 17 January 2019 07:51
1
ответ
Кафка тема с разным форматом данных
Я написал некоторые avro-данные в тему «test-avro», используя Kafka-avro-console-продюсер Затем я записал некоторые текстовые данные в ту же тему «test-avro», используя Kafka-console -roduction. После ...
вопрос задан: 16 January 2019 05:59
1
ответ
Avro и Kafka, используя SchemaBuilder
Я прошел учебник от Baeldung. Они упоминают, что есть два способа создания схемы. Написав представление json и добавив плагин maven для создания класса, используя ...
вопрос задан: 15 January 2019 11:21
1
ответ
Confluent Maven хранилище не работает?
Мне нужно использовать Confluent kafka-avro-serializer Maven. Из официального руководства я должен добавить этот репозиторий в свой Maven pom < repository > < & ID GT; вырожденная & л; / ID > < & GT URL; ...
вопрос задан: 27 September 2018 05:12
1
ответ
Spark Streaming с Kafka: AvroRunTimeException с наличием латинских символов
Я пытаюсь прочитать данные из темы Кафки, которая сериализуется в формате Avro, в приложении Spark Streaming. Я получаю ниже исключения при преобразовании из байта [] в GenericRecord. Я попытался ...
вопрос задан: 13 July 2018 16:35
1
ответ
Кодировать объект с Avro в байтовый массив в Python
В Python 2.7, используя Avro, я хотел бы закодировать объект в байтовый массив. Все найденные примеры пишутся в файл. Я пытался использовать io.BytesIO (), но это дает: AttributeError: объект '_io.BytesIO' ...
вопрос задан: 22 April 2015 14:50
0
ответов
Не удалось найти класс io.confluent.connect.avro.ConnectDefault
Я сталкиваюсь с подобной проблемой, упомянутой в https://github.com/confluentinc/kafka-streams-examples/issues/22. Я изменил свою исходную конфигурацию JDBC согласно рекомендации в комментарии, но все же ...
вопрос задан: 10 March 2019 09:10
0
ответов
Scala и Avro: как вывести схему на основе данных примера?
Я использую Scala 2.12 и импортировал необходимые библиотеки для "org.apache.avro". Я хочу создать схему (и, следовательно, требуемый класс дел) на основе данных примера. Основываясь на этой схеме, я могу ...
вопрос задан: 5 March 2019 16:13
0
ответов
Как удалить / разделить файлы, в которых объединены несколько файлов avro (набор схем и записей)?
У меня есть файл, в котором есть несколько авросов Есть ли какой-нибудь пакет в java, который можно использовать для разделения и чтения файлов avro? Файл имеет следующий формат: схема1 запись1 схема2 запись2 схема3 ...
вопрос задан: 18 January 2019 15:24
0
ответов
Можно ли преобразовать общую запись в конкретную запись с той же схемой?
У меня есть объект GenericRecord схемы A, который также является сгенерированным классом Avro Java. Могу ли я как-нибудь преобразовать этот объект в настоящий тип A?
вопрос задан: 17 January 2019 00:28
0
ответов
ERROR org.apache.pig.tools.grunt.Grunt - org.apache.pig.tools.pigscript.parser.TokenMgrError: Непревзойденный '}'
Я пытаюсь сохранить HDFS с помощью метода AvroStorage (). Код выглядит так: хранить «данные» в «путь» с помощью AvroStorage («схема», $ SCHEMA) SCHEMA - это переменная, которую я получаю от выполнения cat '/ path / to / ...
вопрос задан: 13 July 2018 20:50
0
ответов
Использование Apache Avro Reflect
Сериализация Avro популярна среди пользователей Hadoop, но найти примеры очень сложно. Может ли кто-нибудь помочь мне с этим примером кода? Меня больше всего интересует использование Reflect API для чтения/записи в файлы...
вопрос задан: 13 March 2018 19:20
0
ответов
Каковы основные различия между Apache Thrift, Google Protocol Buffers, MessagePack, ASN.1 и Apache Avro?
Все они обеспечивают двоичную сериализацию, Фреймворки RPC и IDL. Меня интересуют ключевые различия между ними и характеристики (производительность, простота использования, поддержка языков программирования). Если вы ...
вопрос задан: 23 July 2015 11:55
0
ответов
Как вложить записи в схему Avro?
Я пытаюсь заставить Python анализировать схемы Avro, такие как следующие... from avro import schema mySchema = """ { "имя" :"человек", "тип" :"запись", "поля" :[ {"имя" :"...
вопрос задан: 1 August 2012 17:16
0
ответов
Чтение простого файла Avro из HDFS
Я пытаюсь просто прочитать файл Avro, хранящийся в HDFS. Я узнал, как читать его, когда он находится в локальной файловой системе... Читатель FileReader = DataFileReader.openReader (новый файл (имя файла ),...
вопрос задан: 24 July 2012 13:53
0
ответов
Проверка AVRO
Я довольно новичок в AVRO, поэтому, пожалуйста, извините, если я упустил что-то очевидное. Существует ли утилита проверки/командной строки AVRO, которая проверяет ввод по схеме AVRO? Или, возможно, указывает на то, где...
вопрос задан: 17 April 2012 01:42
0
ответов
Maven: Плагин для загрузки источника зависимостей с github?
У меня есть сборка, зависящая от com.odiago.avro:odiago-avro:jar:1.0.5, которую мне не удалось найти ни в одном репозитории. Исходник доступен на github. Есть ли плагин maven, который я могу...
вопрос задан: 26 March 2012 20:59
0
ответов
Задание mapreduce с вводом простого текста и выводом avro
Я немного запутался в использовании Avro с уменьшением карты и не могу найти хороших руководств для подражания. Кажется, что такие классы, как AvroJob и AvroMapper, предназначены для решения проблем, когда и ввод, и вывод являются ...
вопрос задан: 15 March 2012 23:32
0
ответов
необязательный массив в схеме avro
Мне интересно, возможно ли иметь необязательный массив.
Предположим такую схему: {"type": "record", "name": "test_avro", "fields": [{"name": "...
вопрос задан: 15 March 2012 02:19
0
ответов
Начало работы с Avro
Я хочу начать использовать Avro с Map Reduce. Может ли кто-нибудь предложить хороший учебник / пример для начала. Я не смог найти в Интернете много информации.
вопрос задан: 6 March 2012 15:59
0
ответов
Можете ли вы добавить данные в существующий файл данных Avro?
Похоже, что нет никакого способа добавить данные в существующий сериализованный файл Avro. Я бы хотел, чтобы несколько процессов записывали в один файл avro, но похоже, что каждый раз, когда я открываю его, я запускаю ...
вопрос задан: 10 January 2012 16:26
0
ответов
Как в Java создать эквивалент файла-контейнера Apache Avro без необходимости использовать файл в качестве носителя?
Это в некотором роде выстрел в темноту на случай, если кто-то, кто разбирается в Java-реализации Apache Avro, читает это. Моя высокоуровневая цель состоит в том, чтобы иметь некоторый способ передачи некоторой серии avro ...
вопрос задан: 24 September 2011 18:54
0
ответов
Вопрос о заполнении вложенных записей в Avro с помощью GenericRecord
Предположим, у меня есть следующая схема: {"name": "Profile", "type": "record" , "fields": [{"name": "firstName", "type": "string"}, {"name": "address", "type": {"type": "record", ...
вопрос задан: 5 September 2011 04:21
0
ответов
Python implementation of avro slow?
I'm reading some data from avro file using the avro library. It takes about a minute to load 33K objects from the file. This seem very slow to me, specially with the Java version reading the same file ...
вопрос задан: 5 May 2011 21:15