Распределенное планирование Задания, управление и создание отчетов
Я недавно имел игру вокруг с Hadoop и был впечатлен, он планирует, управление, и сообщает заданий MapReduce. Это, кажется, делает распределение и выполнение новых заданий довольно бесшовными, позволяя разработчику сконцентрироваться на реализации их заданий.
Я задаюсь вопросом, существует ли что-нибудь в домене Java для распределенного выполнения заданий, которых легко не выражают как проблемы MapReduce? Например:
Задания, которые требуют координации задачи и синхронизации. Например, они могут включить последовательное выполнение задач все же, выполнимо выполнить некоторые задачи одновременно:
.-- B --. .--A --| |--. | '-- C --' | Start --| |-- Done | | '--D -------------'ЦП интенсивные задачи, которые требуется распределить, но сделать не, обеспечивает любые выводы для сокращения - преобразование/изменение размеров изображения, например.
Так существует ли платформа/платформа Java, которая обеспечивает такую распределенную вычислительную среду? Или этот вид вещи является приемлемым/достижимым использованием Hadoop - и раз так является там какими-либо шаблонами/инструкциями для этих видов заданий?
4 ответа
С тех пор я нашел Весенний пакет и Интеграция весеннего пакета , которые, кажется, отвечают многим из моих требований. Я дам вам знать, как я буду работать.
Взгляните на Кварц . Я думаю, что он поддерживает такие вещи, как удаленное управление заданиями и кластеризацию нескольких машин для выполнения заданий.
Я полагаю, вы ищете механизм рабочего процесса для задач, интенсивно использующих ЦП (также известен «научный рабочий процесс», например http://www.extreme.indiana.edu/swf-survey ). Но я не уверен, насколько вы хотите, чтобы это было распределено. Обычно все механизмы рабочего процесса имеют «единую точку отказа».
I believe quite a few problems can be expressed as map-reduce problems.
For problems that you can't modify to fit the structure your can look at setting up your own using Java's ExecutorService. But it will be limited to one JVM and it will be quite low level. It will allow for easy coordination and synchronization however.