Передача аргументов модулям сопоставления Hadoop

Я использую новый Hadoop API и ищу способ передать некоторые параметры (несколько строк) средствам отображения.
Как я могу это сделать?

Это решение работает для старого API :

JobConf job = (JobConf)getConf();
job.set("NumberOfDocuments", args[0]);

Здесь « NumberOfDocuments » - это Имя параметра и его значение считываются из « args [0] », аргумента командной строки. После того, как вы установите эти аргументы, вы можете получить его значение в reducer или mapper следующим образом:

private static Long N;
public void configure(JobConf job) {
     N = Long.parseLong(job.get("NumberOfDocuments"));
}

Примечание. сложность заключается в том, что вы не можете установить такие параметры:

Configuration con = new Configuration();
con.set("NumberOfDocuments", args[0]);

16
задан Suvarna Pattayil 25 July 2013 в 12:20
поделиться