Я пишу сценарий оболочки, чтобы помещать данные в hadoop, как только они будут сгенерированы. Я могу подключиться к своему главному узлу по ssh, скопировать файлы в папку и затем поместить их в hadoop. Я ищу команду оболочки, чтобы избавиться от копирования файла на локальный диск на главном узле. чтобы лучше объяснить, что мне нужно, здесь ниже вы можете найти то, что у меня есть на данный момент:
1 )скопируйте файл на локальный диск главного узла:
scp test.txt username@masternode:/folderName/
Я уже настроил SSH-соединение с помощью ключей. Так что пароль для этого не нужен.
2 )Я могу использовать ssh для удаленного выполнения команды Hadoop put:
ssh username@masternode "hadoop dfs -put /folderName/test.txt hadoopFolderName/"
то, что я ищу, - это как объединить/объединить эти два шага в один и пропустить локальную копию файла на локальном диске masterNode.
спасибо
Другими словами, я хочу передать несколько команд таким образом, чтобы