Получите идентификатор попытки задачи для в настоящее время рабочей задачи Hadoop

Question

Получите идентификатор попытки задачи для в настоящее время рабочей задачи Hadoop

Для Windows HTTP Вы не можете биться Скрипач . Можно использовать его в качестве обратный прокси для перенаправления портов на веб-сервере. Этому не обязательно нужен IE, также. Это может использовать другие клиенты .

8

hadoop

задан David Phillips 29 September 2009 в 20:15

1 ответ

Другие вопросы по тегам:

hadoop

Похожие вопросы:

score 11 · Accepted Answer

Если вам нужен уникальный идентификатор для файла побочных эффектов в hadoop, вы можете использовать уникальный идентификатор попытки в задании с помощью этого кода:

   public static String getAttemptId(Configuration conf) throws IllegalArgumentException
   {
       if (conf == null) {
           throw new NullPointerException("conf is null");
       }

       String taskId = conf.get("mapred.task.id");
       if (taskId == null) {
           throw new IllegalArgumentException("Configutaion does not contain the property mapred.task.id");
       }

       String[] parts = taskId.split("_");
       if (parts.length != 6 ||
               !parts[0].equals("attempt") ||
               (!"m".equals(parts[3]) && !"r".equals(parts[3]))) {
           throw new IllegalArgumentException("TaskAttemptId string : " + taskId + " is not properly formed");
       }

       return parts[4] + "-" + parts[5];
   }