Я использую новый Hadoop API и ищу способ передать некоторые параметры (несколько строк) средствам отображения.
Как я могу это сделать?
Это решение работает для старого API :
JobConf job = (JobConf)getConf();
job.set("NumberOfDocuments", args[0]);
Здесь « NumberOfDocuments
» - это Имя параметра и его значение считываются из « args [0]
», аргумента командной строки. После того, как вы установите эти аргументы, вы можете получить его значение в reducer или mapper следующим образом:
private static Long N;
public void configure(JobConf job) {
N = Long.parseLong(job.get("NumberOfDocuments"));
}
Примечание. сложность заключается в том, что вы не можете установить такие параметры:
Configuration con = new Configuration();
con.set("NumberOfDocuments", args[0]);