0
ответов
Где мне загрузить все необходимые классы для написания заданий Hadoop MapReduce? [закрыто]
Недавно я начал работать с Hadoop и учился писать задания MapReduce. В Интернете я могу найти примеры и руководства по написанию заданий MapReduce, но все они включают ...
вопрос задан: 22 June 2011 17:26
0
ответов
Есть ли лучший способ экспортировать запрос mongodb в новую коллекцию?
Что я хочу:
У меня есть основная коллекция продуктов, затем я хочу отфильтровать их и поместить в отдельную коллекцию. db.masterproducts.find ({category: "акваланг"}). copyTo (db.newcollection) Of ...
вопрос задан: 18 June 2011 21:54
0
ответов
CouchDB «Соединить» два документа
У меня есть два документа, которые выглядят примерно так: Doc
{_id: AAA, creator_id: ..., data: ...
} DataKey
{_id: ..., credits_left: 500, times_used: 0, data_id: AAA
} Я хочу ...
вопрос задан: 17 June 2011 04:06
0
ответов
Существуют ли реализации MapReduce на графических процессорах (CUDA)?
На данный момент я знаю о Mars, но как насчет альтернатив?
вопрос задан: 14 June 2011 07:20
0
ответов
Как мне использовать Map / Reduce в MongoDB?
У меня проблемы с переносом головы о том, как map / reduce работает в MongoDB. У меня есть коллекция с полями: areacode, state, county, zip, city, lat, lon, в которой перечислены все почтовые индексы в США вместе ...
вопрос задан: 13 June 2011 16:17
0
ответов
Как запустить задание mapreduce из cron в GAE Python
У меня есть задание mapreduce, определенное в mapreduce.yaml: mapreduce:
- name: JobName mapper: input_reader: google.appengine.ext.mapreduce.input_readers.DatastoreInputReader handler: handler_name ...
вопрос задан: 3 June 2011 15:01
0
ответов
количество редукторов для 1 задачи в MapReduce
В типичной настройке MapReduce (например, Hadoop) сколько редукторов используется для 1 задачи, например, подсчета слов? Насколько я понимаю, MapReduce от Google означает, что задействован только 1 редуктор. Это ...
вопрос задан: 2 June 2011 17:56
0
ответов
Пример подсчета mapreduce
Мой вопрос касается программирования mapreduce на java. Предположим, у меня есть пример WordCount.java, стандартной программы mapreduce. Я хочу, чтобы функция карты собирала некоторую информацию и возвращалась к ...
вопрос задан: 29 May 2011 07:45
0
ответов
Функции сокращения в PHPillow для CouchDB
Я пытаюсь выполнить функцию сокращения (MapReduce) в PHPillow, и в настоящее время она недокументирована, однако мне действительно нужно это сделать. Есть ли у кого-нибудь пример реализации функции сокращения в ...
вопрос задан: 27 May 2011 11:15
0
ответов
Er inndataformatet ansvarlig for implementering av datalokalitet i Hadoop's MapReduce?
Jeg prøver å forstå datalokaliteten slik den er relatert til Hadoop's Map / Reduce framework. Spesielt prøver jeg å forstå hvilken komponent som håndterer datalokalitet (dvs. er det inngangsformatet?) ...
вопрос задан: 25 May 2011 17:13
0
ответов
Операции MapReduce / Aggregate в SpringBatch
Можно ли выполнять операции в стиле MapReduce в SpringBatch? У меня есть два этапа пакетной работы. На первом этапе вычисляется среднее значение. На втором этапе каждое значение сравнивается со средним, чтобы определить ...
вопрос задан: 25 May 2011 06:55
0
ответов
Различия в планировании потоков Linux в многоядерных системах?
У нас есть несколько чувствительных к задержкам программы в стиле «конвейера», производительность которых ощутимо снижается при запуске на одном ядре Linux по сравнению с другим. В частности, мы видим лучшую производительность с ...
вопрос задан: 24 May 2011 17:04
0
ответов
Что ближе всего к Apache Hadoop на других языках?
В частности, любые реализации с открытым исходным кодом с любой степенью полезности на следующих языках: 1) C ++ 2) Python 3 ) Ruby 4) C #
вопрос задан: 21 May 2011 22:55
0
ответов
Простой пример счетчика с использованием mapreduce в Google App Engine
Я несколько смущен текущим состояние поддержки mapreduce в GAE. Согласно документам, http://code.google.com/p/appengine-mapreduce/ этап reduce еще не поддерживается, но в описании ...
вопрос задан: 19 May 2011 14:17
0
ответов
Join operation with MongoDB MapReduce
I've been using MapReduce before to perform classical MR operation, the equivalent of GROUP BY in SQL. I was wondering if it would be conceptually possible to perform a JOIN operation with MapReduce. ...
вопрос задан: 19 May 2011 00:22
0
ответов
Выровнять словарь словарей (на 2 уровня) списков в Python
Я пытаюсь осознать это, но это недостаточно гибко . В моем скрипте Python есть словарь словарей списков. (На самом деле это становится немного глубже, но этот уровень не ...
вопрос задан: 18 May 2011 10:15
0
ответов
CouchDB Reduce Check Box in Futon
I created a small test database in CouchDB and I'm creating a temporary view in Futon. I wrote the mapper and the reducer. The mapper works, but the check box for the reducer never shows up. I know ...
вопрос задан: 16 May 2011 03:29
0
ответов
Обработка большого набора небольших файлов с помощью Hadoop
Я использую пример программы WordCount на Hadoop для обработки большого набора небольших файлов / веб-страниц (примерно 2–3 КБ). Поскольку это далеко от оптимального размера файла для файлов hadoop, программа работает очень медленно. Я ...
вопрос задан: 8 May 2011 23:01
0
ответов
Задание потоковой передачи Hadoop не удалось в python
У меня есть задание mapreduce, написанное на Python. Программа была успешно протестирована в linux env, но потерпела неудачу, когда я запустил ее под Hadoop. Вот команда задания: hadoop jar $ HADOOP_HOME / contrib / streaming / ...
вопрос задан: 5 May 2011 00:50
0
ответов
Метод перемешивания / сортировки MapReduce
Довольно странный вопрос, но знает ли кто-нибудь, какой вид сортировки использует MapReduce в части сортировки при перемешивании / сортировке? Я бы подумал, что слияние или вставка (в соответствии со всей парадигмой MapReduce), ...
вопрос задан: 25 April 2011 15:05
0
ответов
Как получить имя файла / содержимое файла в качестве ввода ключ / значение для MAP при выполнении задания Hadoop MapReduce?
Я создаю программу для анализа PDF, Файлы DOC и DOCX. Эти файлы хранятся в HDFS. Когда я начинаю свою работу MapReduce, я хочу, чтобы функция карты имела имя файла в качестве ключа и двоичное содержимое ...
вопрос задан: 19 April 2011 12:13
0
ответов
Programmatically reading the output of Hadoop Mapreduce Program
This may be a basic question, but I could not find an answer for it on Google.
У меня есть задание по уменьшению карты, которое создает несколько выходных файлов в своем выходном каталоге.
Мое приложение Java выполняет эту работу ...
вопрос задан: 12 April 2011 14:15
0
ответов
Файлы, сжатые с помощью gzip Hadoop
Я новичок в hadoop и пытаюсь обработать дамп Википедии. Это XML-файл, сжатый с помощью gzip, размером 6,7 ГБ. Я читал, что hadoop поддерживает файлы, сжатые gzip, но может быть обработан картографом только в одном задании ...
вопрос задан: 12 April 2011 04:00
0
ответов
решение проблемы с уменьшением карты
Я хочу смоделировать в ruby мою реализацию функции map и reduce для такой системы, как hadoop, чтобы убедиться, что идея хотя бы работает. У меня следующая проблема. У меня есть два списка ...
вопрос задан: 10 April 2011 17:44
0
ответов
Mongodb Map / Reduce - Уменьшение не вызывается
Я пытаюсь сделать простое уменьшение карты в оболочке Mongo, но функция сокращения никогда не вызывается. Это мой код: db.sellers.mapReduce (function () {emit (this._id, 'Map')}, function (k, ...
вопрос задан: 10 April 2011 12:34
0
ответов
Hadoop: ошибка промежуточного слияния
У меня возникла странная проблема. Когда я запускаю свое задание Hadoop с большим набором данных (> 1 ТБ сжатых текстовых файлов), некоторые из задач сокращения завершаются сбоем с такими трассировками стека: java.io.IOException: Task: ...
вопрос задан: 8 April 2011 18:14
0
ответов
Как мне написать свой собственный планировщик Hadoop ?
Недавно я изучал механизм планировщика hadoop.
Использование 0.20.2 (нормальная и емкость включена)
Прочитал несколько статей, LATE \ Deadline Scheduler ... Кто-нибудь пробовал?
или есть гид? thx в любом случае
вопрос задан: 4 April 2011 13:28
0
ответов
Удаление повторяющихся записей с помощью MapReduce
Я использую MongoDB, и мне нужно удалить повторяющиеся записи. У меня есть коллекция листингов, которая выглядит так: (упрощенно) [{"MlsId": "12345" "}, {" MlsId ":" 12345 "}, {" MlsId ":" 23456 "}, {" ...
вопрос задан: 3 April 2011 15:40
0
ответов
Возвращать уникальные значения по ключу в CouchDB
Есть ли способ сделать следующие в CouchDB? Способ вернуть уникальные, отличные значения по заданному ключу? ВЫБЕРИТЕ РАЗЛИЧНОЕ поле ИЗ таблицы WHERE key = "key1" 'key1' => 'somevalue'
'key1' => '...
вопрос задан: 28 March 2011 08:58
0
ответов
Ravendb mapreduce группировка по нескольким полям
У нас есть сайт, который содержит потоковое видео, и мы хотим отобразить три отчета о самых просматриваемых видео за последнюю неделю, месяц и год (скользящее окно). Мы сохраняем документ в ravendb каждый раз ...
вопрос задан: 23 March 2011 18:17