Опыт с Hadoop?
С ванильным JavaScript вы можете легко взять params (location.search), получить подстроку (без?) и превратить ее в массив, разделив ее на «& amp;».
Когда вы повторяете urlParams, вы можете снова разбить строку на '=' и добавить ее в объект params как объект [elmement [0]] = element [1]. Супер простой и легкий доступ.
http://www.website.com/?error=userError&type=handwritten
var urlParams = location.search.substring(1).split('&'),
params = {};
urlParams.forEach(function(el){
var tmpArr = el.split('=');
params[tmpArr[0]] = tmpArr[1];
});
var error = params['error'];
var type = params['type'];
4 ответа
Да, можно использовать Hadoop в локальной файловой системе при помощи файла URIs вместо hdfs URIs в различных местах. Я думаю много примеров, которые идут с Hadoop, делают это.
Это прекрасно, вероятно, если Вы просто хотите изучить, как работы Hadoop и основная карта - уменьшают парадигму, но Вам будут нужны несколько машин и распределенная файловая система для извлечения реальной пользы из масштабируемости, свойственной от архитектуры.
Как Joe сказал, можно действительно использовать Hadoop без HDFS. Однако пропускная способность зависит от способности кластера сделать вычисление рядом, где данные хранятся. Используя HDFS обладает 2 основными преимуществами, по моему скромному мнению, 1), вычисление распространено более равномерно через кластер (сокращение суммы коммуникации междоузлия), и 2) кластер в целом является более стойким к отказу из-за недоступности данных.
Если Ваши данные уже делятся или тривиально partitionable, можно хотеть изучить предоставление собственной функции разделения для карты - уменьшают задачу.
Лучший способ перенести Вашу голову вокруг Hadoop состоит в том, чтобы загрузить его и начать исследовать включать примеры. Используйте Linux box/VM, и Ваша установка будет намного легче, чем Mac или Windows. После того как Вы чувствуете себя довольными образцами и понятиями, затем начните видеть, как Ваше пространство задач могло бы отобразиться в платформу.
Пара снабжает, Вы могли бы найти полезным для большего количества информации о Hadoop:
Видео саммита Hadoop и презентации
Hadoop: Полное руководство: Грубая Версия Сокращений - Это - один из некоторых (только?) книги, доступные на Hadoop в этой точке. Я сказал бы, что это стоит цены электронной опции загрузки даже в этой точке (книга на ~40% завершена).
Hadoop MapReduce может работать поверх любого количества файловых систем или даже более абстрактных источников данных, таких как базы данных. На самом деле существует пара встроенных классов для поддержки файловой системы, отличной от HDFS, например S3 и FTP . Вы также можете легко создать свой собственный формат ввода, расширив базовый класс InputFormat .
Однако использование HDFS дает определенные преимущества. Самым мощным преимуществом является то, что планировщик заданий MapReduce будет пытаться выполнять карты и сокращает количество операций на физических машинах, которые хранят записи, требующие обработки. Это обеспечивает повышение производительности, поскольку данные могут загружаться прямо с локального диска, а не передаваться по сети, что в зависимости от соединения может быть на несколько порядков медленнее.