У меня есть задание hadoop с довольно длинной фазой отображения, и я хочу, чтобы другие короткие задания выполнялись с приоритетом. Для этого я установил приоритет моей длинной работы с помощью hadoop job -set-priority job_id LOW.
Проблема в том, что для моей долгой работы фаза копирования редукторов начинается, даже если выполнено только 30% моих задач карты.
Моя сетка блокируется, так как все слоты сокращения заняты заданием с НИЗКИМ приоритетом. Другие небольшие задания могут выполнять свои фазы карты, но они никогда не получат редуктора, пока моя долгая работа не будет завершена.
Есть идеи? Спасибо. J.