Отладка hadoop приложения
Я пытался распечатать значения с помощью System.out.println (), но они не появятся на консоли. Как я распечатываю значения в отобразить/уменьшить приложении для отладки использования целей Hadoop?
Спасибо, Deepak.
3 ответа
Страница, на которую указывает @SquareCog, является очень хорошим источником информации об отладке задания MapReduce после того, как вы запустили его в облаке.
Однако прежде чем вы достигнете этого момента, вам следует подумать о написании модульных тестов для ваших mappers и reducers, чтобы вы могли убедиться, что основная логика работает. Если вас интересуют модульные тесты для проверки логики работы map и reduce, обратите внимание на mrunit, который работает аналогично JUnit.
Строки, распечатанные с использованием System.out.println и System.err.println, переходят в журналы, которые Hadoop записывает для каждого задания. Вы можете просматривать их с помощью веб-интерфейса, переходя к отдельным задачам.
См. Это сообщение в блоге Cloudera, где можно найти множество советов по тестированию и отладке заданий Hadoop: http://www.cloudera.com/blog/2009/07/advice-on-qa-testing-your- mapreduce-jobs /
Хочу добавить, что вы можете использовать Counters Hadoop JavaDoc и для отладки. Например, если вы хотите проверить, как часто передается определенная строка в вашей программе.