Задание mapreduce с вводом простого текста и выводом avro

Я немного запутался в использовании Avro с уменьшением карты и не могу найти хороших руководств для подражания.

Похоже, что такие классы, как AvroJob и AvroMapper, предназначены для решения проблем, когда и ввод, и вывод являются файлами данных Avro. Как насчет того, когда вы вводите просто текст?

В частности:

Мой преобразователь использует в качестве входных данных ключи LongWritable и текстовые значения. Он выдает текстовые ключи и значения MyAvroRecord.

Мой редьюсер принимает текстовые ключи и итератор MyAvroRecords в качестве входных данных и выдает текстовые ключи и значения MyAvroRecord.

Как мне получить формат вывода, который будет записывать эти текстовые ключи и значения MyAvroRecord в файл?

Ура, Дэйв

6
задан Dave 15 March 2012 в 23:32
поделиться