Где хранятся мои файлы (dir ), когда я использовал Hadoop fs -mkdir?

Я совершенно новичок в Hadoop и только что закончил установку, которая заняла у меня 2 дня... Сейчас я пытаюсь использовать команду hadoop dfs, но я просто не мог ее понять, хотя я просматривал в течение нескольких дней, я не мог найти ответ на то, что я хочу знать. Все примеры показывают, каким должен быть результат, без объяснения его реальной структуры, поэтому я буду рад, если кто-нибудь поможет мне разобраться в Hadoop hdfs.

Я создал каталог на HDFS.

bin/hadoop fs -mkdir input

Хорошо, я проверю это с помощью команды ls.

bin/hadoop fs -ls
Found 1 items
drwxr-xr-x   - hadoop supergroup          0 2012-07-30 11:08 input

ОК, нет проблем, все кажется идеальным... НО где на самом деле хранятся данные HDFS? Я думал, что он будет храниться в каталоге my datanode (/home/hadoop/datastore ),который был определен в core -site.xml в файле hadoop.tmp.dir, но его там нет..

Затем я попытался просмотреть через веб-интерфейс -и обнаружил, что «ввод» был создан в «/user/hadoop/» (/user/hadoop/input ).

Мои вопросы

  • (1 )Для чего используется каталог datanode (hadoop.tmp.dir ), поскольку он не хранит все, что я обрабатывал с помощью команды dfs?
  • (2 )Все, созданное с помощью команды dfs, попадает в /user/XXX/, как изменить его значение?
  • (3 )Я ничего не вижу, когда пытаюсь получить доступ через обычную команду Linux (ls /user/hadoop ). Логически существует /user/hadoop?

Извините, если мои вопросы глупы.. новичок изо всех сил пытается лучше понять хауп..

Заранее спасибо.

8
задан user1561806 30 July 2012 в 03:03
поделиться