Как я могу объединить два файла в Hadoop в один, используя оболочку Hadoop FS?

Я работаю с Hadoop 0.20.2 и хотел бы объединить два файла в один с помощью команды оболочки -cat, если это возможно (источник: http://hadoop.apache.org /common/docs/r0.19.2/hdfs_shell.html)

Вот команда, которую я отправляю (имена изменены):

**/path/path/path/hadoop-0.20.2> bin/hadoop fs -cat /user/username/folder/csv1.csv /user/username/folder/csv2.csv > /user/username/folder/outputdirectory/**

Она возвращает bash: /user/username/folder/outputdirectory/ : Нет такого файла или каталога

Я также пытался создать этот каталог, а затем запустить его снова — я все еще получал ошибку «нет такого файла или каталога».

Я также пытался использовать команду -cp, чтобы скопировать оба файла в новую папку, и -getmerge, чтобы объединить их, но с getmerge мне тоже не повезло.

Причина, по которой это делается в Hadoop, заключается в том, что файлы имеют большой размер, и их загрузка, объединение и повторная загрузка за пределами Hadoop займет много времени.

7
задан user1397044 15 May 2012 в 19:43
поделиться