Почему существует ограничение на количество счетчиков, разрешенных в задании сокращения карты Hadoop?

Я использую Hadoop map-reduce и получил исключение CountersExceededException, когда пытался программно создать много счетчиков заданий. Я знаю, что я могу увеличить количество разрешенных счетчиков через файлы конфигурации, но кто-нибудь знает:

а) почему существует ограничение на счетчики уменьшения карты

и

б) если это хорошая/плохая идея увеличить максимальное количество счетчиков уменьшения карты?

Я использую Hadoop 0.20.2

5
задан rgimmy 27 June 2012 в 19:05
поделиться