помещение удаленного файла в hadoop без его копирования на локальный диск

Я пишу сценарий оболочки, чтобы помещать данные в hadoop, как только они будут сгенерированы. Я могу подключиться к своему главному узлу по ssh, скопировать файлы в папку и затем поместить их в hadoop. Я ищу команду оболочки, чтобы избавиться от копирования файла на локальный диск на главном узле. чтобы лучше объяснить, что мне нужно, здесь ниже вы можете найти то, что у меня есть на данный момент:

1 )скопируйте файл на локальный диск главного узла:

scp test.txt username@masternode:/folderName/

Я уже настроил SSH-соединение с помощью ключей. Так что пароль для этого не нужен.

2 )Я могу использовать ssh для удаленного выполнения команды Hadoop put:

ssh username@masternode "hadoop dfs -put /folderName/test.txt hadoopFolderName/"

то, что я ищу, - это как объединить/объединить эти два шага в один и пропустить локальную копию файла на локальном диске masterNode.

спасибо

Другими словами, я хочу передать несколько команд таким образом, чтобы

34
задан reza 30 June 2012 в 00:33
поделиться