Может ли Hadoop распределять задачи и базу кода?

Я начинаю экспериментировать с hadoop (но пока у меня нет доступа к кластеру, так что просто играю в автономном режиме) . Мой вопрос: как только он находится в настройке кластера, как распределяются задачи и можно ли перенести базу кода на новые узлы?

В идеале я хотел бы запускать большие пакетные задания, и, если мне нужно больше мощности, добавить новые узлы в кластер, но я не уверен, придется ли мне копировать тот же код, который выполняется локально, или делать что-то особенное, чтобы во время выполнения пакетного задания я мог добавить емкость. Я думал, что могу сохранить свою кодовую базу в HDFS и запускать ее локально для запуска каждый раз, когда мне это нужно, но это все равно означает, что мне нужен какой-то начальный скрипт на сервере и сначала нужно запускать его вручную.

Любые предложения или советы о том, возможно ли это, были бы замечательными!

Спасибо.

6
задан Lostsoul 17 February 2012 в 15:13
поделиться