Я работаю с Hadoop 0.20.2 и хотел бы объединить два файла в один с помощью команды оболочки -cat, если это возможно (источник: http://hadoop.apache.org /common/docs/r0.19.2/hdfs_shell.html)
Вот команда, которую я отправляю (имена изменены):
**/path/path/path/hadoop-0.20.2> bin/hadoop fs -cat /user/username/folder/csv1.csv /user/username/folder/csv2.csv > /user/username/folder/outputdirectory/**
Она возвращает bash: /user/username/folder/outputdirectory/ : Нет такого файла или каталога
Я также пытался создать этот каталог, а затем запустить его снова — я все еще получал ошибку «нет такого файла или каталога».
Я также пытался использовать команду -cp, чтобы скопировать оба файла в новую папку, и -getmerge, чтобы объединить их, но с getmerge мне тоже не повезло.
Причина, по которой это делается в Hadoop, заключается в том, что файлы имеют большой размер, и их загрузка, объединение и повторная загрузка за пределами Hadoop займет много времени.