Действительно ли Hadoop является правильным для выполнения моих моделирований?
Больше прагматических причин может также влиять на Ваш выбор лицензии - если Вы хотите пользоваться библиотекой GPL, необходимо использовать GPL сами, или если Вы предназначаете свое программное обеспечение, чтобы быть частью большего проекта тогда, необходимо посмотреть на их требования.
5 ответов
Я вижу здесь несколько ответов, которые в основном говорят: "Нет, вы не должны использовать Hadoop для моделирования, потому что он не был создан для моделирования". Я считаю, что это довольно недальновидный взгляд, и он сродни тому, как если бы в 1985 году кто-то сказал: "Вы не можете использовать ПК для работы с текстом, ПК предназначены для электронных таблиц!".
Hadoop - это фантастическая основа для создания механизма моделирования. Я использую его для этой цели уже несколько месяцев и добился большого успеха в решении проблем, связанных с небольшими данными и большими вычислениями. Вот 5 основных причин, по которым я перешел на Hadoop для моделирования (используя R в качестве языка для моделирования):
- Доступ: Я могу арендовать кластеры Hadoop через Amazon Elastic Map Reduce, и мне не нужно вкладывать время и энергию в администрирование кластера. Это означает, что я могу начать проводить моделирование на распределенной платформе без необходимости получения административного одобрения в моей организации!
- Администрирование: Hadoop незаметно обрабатывает вопросы управления заданиями, такие как отказ узлов. Мне не нужно разрабатывать код для таких условий. Если узел выходит из строя, Hadoop гарантирует, что симы, запланированные для этого узла, будут запущены на другом узле.
- Возможность модернизации: Будучи довольно универсальным механизмом map reduce с отличной распределенной файловой системой, если впоследствии у вас возникнут проблемы, связанные с большими данными, если вы привыкли использовать Hadoop, вам не придется переходить на новое решение. Таким образом, Hadoop дает вам платформу для моделирования, которая также масштабируется до платформы больших данных (почти) бесплатно!
- Support: Поскольку Hadoop является открытым исходным кодом и используется многими компаниями, количество ресурсов, как онлайн, так и офлайн, для Hadoop очень велико. Многие из этих ресурсов написаны в расчете на "большие данные", но они все равно полезны для обучения мышлению на основе map reduce.
- Переносимость: Я строил анализ поверх проприетарных движков с использованием проприетарных инструментов, что потребовало значительного обучения, чтобы заставить их работать. Когда позже я сменил работу и оказался в фирме, где не было такого же запатентованного стека, мне пришлось изучать новый набор инструментов и новый стек моделирования. Больше никогда. Я поменял SAS на R, а нашу старую систему grid на Hadoop. И то, и другое - с открытым исходным кодом, и я знаю, что в будущем я смогу устроиться на любую работу и сразу же иметь под рукой инструменты, чтобы начать надирать задницу".
Hadoop can be made to perform your simulation if you already have a Hadoop cluster, but it's not the best tool for the kind of application you are describing. Hadoop is built to make working on big data possible, and you don't have big data -- you have big computation.
I like Gearman (http://gearman.org/) for this sort of thing.
Поскольку вы уже используете Java, я предлагаю взглянуть на GridGain , который, я думаю, особенно хорошо подходит для вашей проблемы.
Проще говоря, хотя Hadoop может решить вашу проблему здесь, это не тот инструмент для ваших целей.
Хотя вы могли бы обойтись с помощью MapReduce с Hadoop, похоже, что то, что вы делаете, лучше подходит для планировщика сетки / заданий, такого как Condor или Sun Grid Engine . Hadoop больше подходит для чего-то, где вы берете один (очень большой) ввод, разделяете его на части для обработки рабочими машинами, а затем уменьшаете его для получения вывода.