Custom partitioner example

Я пытаюсь написать новое задание Hadoop для входных данных, которые несколько перекошены. Аналогией для этого может быть пример подсчета слов в учебнике Hadoop, за исключением того, что одно конкретное слово присутствует много раз.

Я хочу иметь функцию разделения, где этот один ключ будет отображен на несколько редукторов и остальные ключи в соответствии с их обычным хэш-разбиением. Возможно ли это?

Заранее спасибо.

5
задан Sainath Mallidi 24 October 2011 в 23:44
поделиться