Могу ли я принудительно запускать свои редукторы (этап копирования) только после завершения всех сопоставлений

У меня есть задание hadoop с довольно длинной фазой отображения, и я хочу, чтобы другие короткие задания выполнялись с приоритетом. Для этого я установил приоритет моей длинной работы с помощью hadoop job -set-priority job_id LOW.

Проблема в том, что для моей долгой работы фаза копирования редукторов начинается, даже если выполнено только 30% моих задач карты.

Моя сетка блокируется, так как все слоты сокращения заняты заданием с НИЗКИМ приоритетом. Другие небольшие задания могут выполнять свои фазы карты, но они никогда не получат редуктора, пока моя долгая работа не будет завершена.

Есть идеи? Спасибо. J.

6
задан user1151446 16 January 2012 в 08:32
поделиться