0
ответов
Полное использование всех ядер в псевдораспределенном режиме Hadoop
Я выполняю задачу в псевдораспределенном режиме на своем 4-ядерном ноутбуке. Как я могу убедиться, что все ядра используются эффективно. В настоящее время мой счетчик вакансий показывает, что одновременно выполняется только одно задание. Есть ли ...
вопрос задан: 2 December 2011 14:04
0
ответов
Связь между python map reduce и map / reduce для облачных вычислений?
Я новичок в Python, кто-нибудь знает, какие отношения между функциями map () / reduce () и концепцией MapReduce в Python (и функциональных языках) связаны с распределенными вычислениями?
вопрос задан: 22 November 2011 10:35
0
ответов
Где запускаются Riak Post-Commit Hooks?
Я пытаюсь оценить использование Riak's Post-Commit Hooks для создания распределенного инкрементного индекса на основе MapReduce, но мне интересно, на каких узлах Riak на самом деле запускаются Post-Commit Hooks. Запускаются ли они ...
вопрос задан: 21 November 2011 17:47
0
ответов
Различные способы настройки памяти для дочернего процесса TaskTracker (Mapper и Reduce Tasks)
В чем разница между установкой mapred.job.map.memory.mb и mapred.child.java.opts с использованием -Xmx для управления максимальным объемом памяти, используемым задачами Mapper и Reduce? Какой из них имеет приоритет?
вопрос задан: 6 November 2011 14:49
0
ответов
Как настроить класс с возможностью записи в Hadoop?
Я пытаюсь реализовать класс с возможностью записи, но понятия не имею, как реализовать класс с возможностью записи, если в моем классе есть вложенный объект, например список и т. Д. Может ли кто-нибудь мне помочь? спасибо общественный класс ...
вопрос задан: 3 November 2011 13:52
0
ответов
MapReduce с использованием SQL Server в качестве источника данных
В настоящее время я изучаю возможность использования MapReduce для поддержки инкрементальных построений представлений в SQL Server . По сути, используйте MapReduce для создания материализованных представлений. Я немного застрял в банкомате. мышление ...
вопрос задан: 26 October 2011 14:37
0
ответов
Custom partitioner example
Я пытаюсь написать новое задание Hadoop для входных данных, которые несколько перекошены. Аналогией для этого может быть пример подсчета слов в учебнике по Hadoop, за исключением того, что, скажем, одно конкретное слово присутствует много ...
вопрос задан: 24 October 2011 23:44
0
ответов
Промежуточный вывод Hadoop MapReduce
Есть ли способ вывода в журнал промежуточных (этап отображения) вывода задания MapReduce без редактирования приложения? (Приложение не мое, но кластер есть, и я могу настроить Hadoop ...
вопрос задан: 23 October 2011 16:54
0
ответов
MongoDB incremental mapReduce, выберите только новые документы, добавленные после последнего mapReduce
Допустим, у меня есть коллекция с документами, которая выглядит следующим образом (просто упрощенный пример, но он должен показывать схему):> db.data.find ()
{"_id": ObjectId ("4e9c1f27aa3dd60ee98282cf"), "type": ...
вопрос задан: 17 October 2011 13:13
0
ответов
Hadoop - увеличение количества задач карты в xml не увеличивает количество задач карты при запуске
Я добавил следующее в свой conf / mapred-site.xml mapred.tasktracker.map.tasks.maximum < / name> 4
...
вопрос задан: 7 October 2011 23:30
0
ответов
Как установить текущую дату и время с помощью подготовленного оператора?
В базе данных есть столбец с типом данных DATETIME. Я хочу установить это значение столбца в текущую дату и время, используя 'PreparedStatement. Как это сделать?
вопрос задан: 2 October 2011 12:13
0
ответов
mongodb: как отладить map/reduce в оболочке mongodb
Я новичок в MongoDB, я использую map/reduce.
Может ли кто-нибудь подсказать мне, как отлаживать при использовании map/reduce? Я использовал функцию "print()", но в оболочке MongoDB ничего не выводится. Ниже приводится мой reduce ...
вопрос задан: 23 September 2011 09:48
0
ответов
RavenDB: Как использовать индексы Multi Maps / Reduce
У меня довольно простая модель: открытый класс PhraseMeta:
{public int Id {get; набор; } общедоступная строка ModuleName {получить; набор; } общедоступная строка Описание {получить; набор; } public DateTime ModifiedDate {get; ...
вопрос задан: 21 September 2011 18:08
0
ответов
Как установить количество задач карты в хадупе 0.20?
Я пытаюсь установить количество задач карты для запуска в хадупе 0.20. Я использую старый апи. Вот опции, которые я пробовал до сих пор: conf.set("mapred.tasktracker.map.tasks.max", "5")....
вопрос задан: 19 September 2011 21:48
0
ответов
Как Hive решает, когда использовать карту уменьшать, а когда нет?
В качестве простого примера, выберите * из таблички; НЕ БЫВАЙТЕ лягнуть в карту уменьшать, а выберите счет(*) из таблички; DOES. Какой общий принцип используется для принятия решения о том, когда использовать сокращение карты (по ульям)?....
вопрос задан: 19 September 2011 04:27
0
ответов
Выберите Разметить более одного поля, используя карту MongoDB Уменьшить
Я хочу выполнить это оператор SQL На Mongodb: выберите отчетливую книгу, автор от библиотеки до сих пор до сих пор MongoDB только поддерживает одно поле одновременно. Для более чем одного поля мы должны использовать группу ...
вопрос задан: 18 September 2011 10:27
0
ответов
Как начать обучение Hadoop [Закрыто]
Я веб-разработчик. У меня есть опыт в веб-технологиях, таких как JavaScript, jQuery, PHP, HTML. Я знаю основные концепции C. Недавно я предпринимал интерес к участию в Mapreatuce и ...
вопрос задан: 6 September 2011 00:13
0
ответов
Git предупреждает, если последовательность появляется в источнике (или diff)
Я хотел бы, чтобы при постановке † в git-репо ‡, если изменения, которые я собираюсь зафиксировать, содержат определенную последовательность (скажем, @ todo или @ hack). Может ли кто-то показать мне, как этого добиться? † или предупредил.
‡ ...
вопрос задан: 3 September 2011 04:52
0
ответов
В Mongodb Maprecuce, как я могу сгладить объект значений?
Я пытаюсь использовать MongoDB для анализа файлов журнала Apache. Я создал коллекцию квитанций из журналов Apache Access. Вот сокращенное резюме того, как выглядят мои модели: db.receipts.findone ()
{...
вопрос задан: 31 August 2011 13:55
0
ответов
Пользовательский формат ввода MapReduce - не удается найти конструктор
Я пишу собственный формат ввода для Hadoop 0.20.2 и обнаруживаю исключение NoSuchMethodException. Я не могу избавиться из. Я начал с: открытый класс ConnectionInputFormat extends FileInputFormat
вопрос задан: 22 August 2011 22:00
0
ответов
Кассандра InvalidRequestException(почему:[MyKeyspace][MyColumnFamily][6675...6c74] = [6c86...e65720] неудачная валидация (строка не валидировалась.))
Я использую Кассандру с Хадупом для ввода и вывода. Во время выполнения задания на уменьшение вывода я получил ошибку: 2011-08-10 03:54:04,326 WARN org.apache.hadoop.mapred.Child: Ошибка бегущего ребенка
java.io....
вопрос задан: 10 August 2011 18:31
0
ответов
F # async stack overflow
Я удивлен переполнением стека в моей асинхронной программе. Я подозреваю, что основная проблема связана со следующей функцией, которая должна составлять два асинхронных вычисления для параллельного выполнения и ...
вопрос задан: 6 August 2011 22:52
0
ответов
Как печатать на консоли во время выполнения задания MapReduce в hadoop
Я хочу распечатать каждый шаг моей «карты» после ее выполнения на консоли. Что-то вроде System.out.println («Шаг первый завершен»);
System.out.println («Шаг второй завершен»); и так далее. Есть ли ...
вопрос задан: 4 August 2011 13:53
0
ответов
Проблема с -libjars в hadoop
Я пытаюсь запустить задание MapReduce в Hadoop, но вижу ошибку и я не уверен, что происходит не так. Мне нужно передать jar-файлы библиотеки, которые требуются моему картографу. Я вызываю следующее…
вопрос задан: 31 July 2011 14:43
0
ответов
Повторное использование экземпляра Amazon Elastic MapReduce
Я попробовал простую задачу Map / Reduce с помощью Amazon Elastic MapReduce, и мне потребовалось всего 3 минуты, чтобы выполнить задачу. Можно ли повторно использовать тот же экземпляр для выполнения другой задачи. Несмотря на то, что у меня ...
вопрос задан: 30 July 2011 00:27
0
ответов
Плохая производительность для дедупликации 2 миллионов записей с использованием mapreduce в Appengine
У меня около 2 миллионов записей, каждая из которых имеет около 4 строковых полей, которые необходимо проверить на наличие дубликатов. Чтобы быть более конкретным, у меня есть имя, телефон, адрес и имя отца в качестве полей, и я должен проверить ...
вопрос задан: 21 July 2011 02:55
0
ответов
На практике, сколько машин вам нужно, чтобы Hadoop / MapReduce / Mahout ускорили вычисления с высокой степенью распараллеливания?
Мне нужно выполнить тяжелые вычисления с машинным обучением. В локальной сети у меня простаивает небольшое количество машин. Сколько машин мне понадобится для распределения моих вычислений с помощью hadoop / ...
вопрос задан: 13 July 2011 17:00
0
ответов
MongoDB / PyMongo: Как использовать точечную нотацию в функции карты?
Я пытаюсь подсчитать, сколько записей я нашел в каждом почтовом индексе.
В моем MongoDB встроенный почтовый индекс; используя точечную нотацию, он расположен по адресу a.res.z (a для адреса, res для жилого помещения, z для zip). ...
вопрос задан: 8 July 2011 01:57
0
ответов
Как переводить с SQL на NoSQL / MapReduce?
У меня есть опыт работы с реляционными базами данных, но недавно я начал заниматься CouchDB и был удивлен тем, что некоторые нереляционные операции, которые были бы простыми в SQL, не были первыми…
вопрос задан: 25 June 2011 18:11
0
ответов
Подходит ли MapReduce для решения проблем в многоядерной среде с одной машиной в памяти?
Подходит ли абстракция MapReduce для решения проблем даже на одной машине?
Например, у меня есть 12-ядерная машина, и мне приходится считать слова в тысячах файлов (классический MapReduce ...
вопрос задан: 24 June 2011 20:08