Я начинаю экспериментировать с hadoop (но пока у меня нет доступа к кластеру, так что просто играю в автономном режиме) . Мой вопрос: как только он находится в настройке кластера, как распределяются задачи и можно ли перенести базу кода на новые узлы?
В идеале я хотел бы запускать большие пакетные задания, и, если мне нужно больше мощности, добавить новые узлы в кластер, но я не уверен, придется ли мне копировать тот же код, который выполняется локально, или делать что-то особенное, чтобы во время выполнения пакетного задания я мог добавить емкость. Я думал, что могу сохранить свою кодовую базу в HDFS и запускать ее локально для запуска каждый раз, когда мне это нужно, но это все равно означает, что мне нужен какой-то начальный скрипт на сервере и сначала нужно запускать его вручную.
Любые предложения или советы о том, возможно ли это, были бы замечательными!
Спасибо.