Переопределение jar-файлов hadoop по умолчанию в пути к классам

Я видел много способов использования пути пользовательского класса в качестве прецедента пути к хаупу. Часто это делается, если для задания m/r требуется определенная версия библиотеки, которая по совпадению уже использует более старую версию (, например синтаксический анализатор json от jackson или commons http и т. д.)

В любом случае :я видел:

mapreduce.task.classpath.user.precedence
mapreduce.task.classpath.first
mapreduce.job.user.classpath.first

Какой из этих параметров является правильным для установки в моей конфигурации задания, чтобы заставить преобразователи и редукторы иметь путь к классу, который помещает мои определенные пользователем hadoop_classpathjar-файлы ДО jar-файлов зависимости по умолчанию для Hadoop?

Кстати, это связано с этим вопросом: Принятие Dynamodb requestHandler , которое я недавно обнаружил, связано с конфликтом jar.

17
задан Community 23 May 2017 в 10:31
поделиться