Я ищу что-то, что поможет работать (правильно кодированный), смущающе параллельны коду JVM кластера (так, чтобы я мог использовать Clojure + Incanter).
Я использовал Parallel Python в прошлом, чтобы сделать это. У нас есть новый кластер PBS, и наш администратор скоро настроит узлы IPython, которые используют PBS в качестве бэкенда. Обе из этих систем делают это почти легкой задачей для выполнения определенных типов кода в кластере.
Я сделал ошибку использования Hadoop в прошлом (Hadoop просто не подходит для вида данных, которые я использую) - задержка, сделанная даже маленькими выполнениями выполниться в течение 1-2 минут.
JPPF или Gridgain лучше, для какого мне нужно? У кого-либо здесь есть опыт с также? Есть ли что-либо еще, что можно рекомендовать?
Сообщается, что Clojure работает над Terracotta , при условии внесения исправлений.
Проверить каскалог - http://github.com/nathanmarz/cascalog