При использовании HBase в качестве источника для MapReduce можно ли расширить TableInputFormatBase, чтобы создать несколько разбиений и несколько преобразователей для каждого региона?

Я думаю об использовании HBase в качестве источника для одного из моих заданий MapReduce. Я знаю, что TableInputFormat указывает одно разделение ввода (и, следовательно, один преобразователь) для каждого региона. Однако это кажется неэффективным. Мне бы очень хотелось, чтобы несколько картографов работали над данным регионом одновременно. Могу ли я добиться этого, расширив TableInputFormatBase? Не могли бы вы указать мне пример? Кроме того, это даже хорошая идея?

Спасибо за помощь.

9
задан sangfroid 14 June 2012 в 18:54
поделиться