JVM (смущающе) библиотеки/инструменты параллельной обработки

Я ищу что-то, что поможет работать (правильно кодированный), смущающе параллельны коду JVM кластера (так, чтобы я мог использовать Clojure + Incanter).

Я использовал Parallel Python в прошлом, чтобы сделать это. У нас есть новый кластер PBS, и наш администратор скоро настроит узлы IPython, которые используют PBS в качестве бэкенда. Обе из этих систем делают это почти легкой задачей для выполнения определенных типов кода в кластере.

Я сделал ошибку использования Hadoop в прошлом (Hadoop просто не подходит для вида данных, которые я использую) - задержка, сделанная даже маленькими выполнениями выполниться в течение 1-2 минут.

JPPF или Gridgain лучше, для какого мне нужно? У кого-либо здесь есть опыт с также? Есть ли что-либо еще, что можно рекомендовать?

9
задан Alex Miller 16 December 2016 в 06:52
поделиться

3 ответа

Сообщается, что Clojure работает над Terracotta , при условии внесения исправлений.

2
ответ дан 4 December 2019 в 23:39
поделиться

Посмотрите на Skandium

Edit:

Выше ссылка больше не работает, поэтому добавляем ссылку github

https://github.com/mleyton/Skandium

1
ответ дан 4 December 2019 в 23:39
поделиться

Проверить каскалог - http://github.com/nathanmarz/cascalog

3
ответ дан 4 December 2019 в 23:39
поделиться
Другие вопросы по тегам:

Похожие вопросы: