Grep потоковой передачи Hadoop не работает

Похоже, что Grep не работает с потоковой передачей hadoop

Для: банка hadoop /usr/local/hadoop-0.20.2/contrib/streaming/hadoop-0.20.2-streaming.jar -input /user/root/tmp2/user.data -output / user / root / selected_data -mapper '/ bin / grep 1938678460 '-reducer' wc '-jobconf mapred.output.compress = false

Я получаю: java.lang.RuntimeException: PipeMapRed.waitOutputThreads (): сбой подпроцесса с кодом 1 в org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads (PipeMapRed.java:311) в org.apache.hadoop.streaming.PipeMapRed.mapRedFinished (PipeMapRed.java:545) в org.apache.hadoop.streaming.PipeMapper.close (PipeMapper.java:132) в org.apache.hadoop.mapred.MapRunner.run (MapRunner.java:57) в org.apache.hadoop.streaming.PipeMapRunner.run (PipeMapRunner.java:36) в org.apache.hadoop.mapred.MapTask.runOldMapper (MapTask.java:358) в org.apache.hadoop.mapred.MapTask.run (MapTask.java:307) в org.apache.hadoop.mapred.Child.main (Child.java:17

Есть идеи?

Я также пробовал: -mapper 'cat' -reducer '/ bin / grep 1938678460' (cat работает, grep - нет)

.... Я также проверил на всех машинах, что / bin / grep есть, и это

Grep делает не работает, или мне что-то не хватает?

6
задан Federico 21 September 2010 в 20:22
поделиться