Почему Hadoop не реализован с использованием MPI?

Поправьте меня, если я ошибаюсь, но я понимаю, что Hadoop не использует MPI для связи между разными узлами.

Каковы технические причины этого?

Рискну предположить, но я недостаточно знаю, как MPI реализован «под капотом», чтобы понять, прав я или нет.

Если подумать, я тоже не совсем знаком с внутренним устройством Hadoop. Я понимаю структуру на концептуальном уровне (карта / комбинирование / перемешивание / уменьшение и то, как это работает на высоком уровне), но я не знаю мельчайших деталей реализации. Я всегда предполагал, что Hadoop передает сериализованные структуры данных (возможно, GPB ) по TCP-соединению, например, во время фазы перемешивания. Дайте мне знать, если это неправда.

35
задан artif 4 January 2011 в 04:34
поделиться