Действительно ли возможно записать, отображают/уменьшают задания для Amazon Эластичный MapReduce с помощью.NET?
Я не думаю, что это возможно (по крайней мере, не используя некоторые внутренности). И я не думаю, что Вы получили бы много путем оптимизации этого.
3 ответа
Вы должны иметь возможность использовать библиотеку VB.NET с любого языка .NET, включая C #.
Вероятно, можно было бы обойтись без потоковой передачи Hadoop и компиляции вашего кода C # с помощью компилятора Ahead Of Time в собственный код (проверьте: http://www.mono-project.com/AOT ). Я полагаю, двоичный файл может быть запущен с S3, как программа на C ++.
Ответ Рида Копси неверен. Библиотека VB.NET предназначена для создания заданий, их запуска и остановки, но не касается кода, фактически выполняемого в заданиях Hadoop.
Elastic MapReduce теперь имеет функцию "bootstrap actions", которую Amazon объясняет следующим образом:
Bootstrap action - это механизм, который позволяет вам запускать сценарий на экземплярах Elastic MapReduce до запуска Hadoop. Сценарии Bootstrap action хранятся в Amazon S3 и передаются в Amazon Elastic MapReduce при создании нового потока заданий. Сценарии действий Bootstrap загружаются из Amazon S3 и выполняются на каждом экземпляре перед выполнением потока заданий.
Сценарии действий Bootstrap могут быть написаны на любом языке, уже установленном на экземпляре потока заданий. включая Ruby, Python, Perl и bash.
Один из вариантов использования этого сценария - установка программного обеспечения на машины кластера. Потенциально вы можете использовать это для установки среды выполнения .NET (возможно, Mono, а не Microsoft, потому что, как мне кажется, все машины Elastic MapReduce работают под управлением Linux) на ваши кластерные машины. (Не уверен, насколько сложной будет неуправляемая установка. Есть идеи?) Сделав это, вы сможете обращаться к вашим .NET mappers/reducers с помощью потоковой обработки Hadoop, которую Elastic MapReduce, похоже, поддерживает.