0
ответов
Расчет воронки. Как бы вы рассчитали воронку?
Предположим, я отслеживаю «событие», которое пользователь совершает на веб-сайте. Событиями могут быть такие вещи, как: просмотр главной страницы
добавил товар в корзину
проверить
оплаченный заказ Теперь каждое из этих событий хранится в базе данных...
вопрос задан: 12 May 2012 19:20
0
ответов
повторное использование JVM в заданиях Hadoop mapreduce
Я знаю, что мы можем установить свойство «mapred.job.reuse.jvm.num.tasks», чтобы повторно -использовать JVM. Мои вопросы::(1 )как определить количество задач, которые нужно установить здесь, -1 или какие-то другие положительные целые числа? (2 )это...
вопрос задан: 7 May 2012 15:21
0
ответов
Уменьшение сопоставления в RavenDb более чем на 2 коллекции с дочерней коллекцией
У меня есть 2 разных типа объектов, хранящихся в RavenDb, которые представляют собой отношения типа родитель/потомок, как в JSON :Account/1 { "Имя" :"Доп1", } Товаров/1 { "Учетная запись" :"Учетная запись/1", "...
вопрос задан: 2 May 2012 20:00
0
ответов
Как планировать задачи Hadoop Map в многоядерном -8 узле кластер?
У меня есть программа "только карта" (без фазы сокращения ). Размер входного файла достаточно велик для создания 7 картографических задач, и я убедился, что, просмотрев выходные данные, мы получили от (часть -000 до части 006 ). Итак, мой...
вопрос задан: 29 April 2012 15:47
0
ответов
Java Hadoop :Как создать преобразователи, которые принимают в качестве входных файлов файлы и выдают на выходе количество строк в каждом файле?
Я новичок в Hadoop, и мне удалось просто запустить пример wordCount:http://hadoop.apache.org/common/docs/r0.18.2/mapred_tutorial.htmlПредположим, у нас есть папка с 3 файлами. Я хочу иметь один...
вопрос задан: 28 April 2012 23:53
0
ответов
Перекрестное произведение в MapReduce
Я хотел бы выполнить дорогостоящую операцию перекрестного произведения двух наборов данных в Hadoop, используя Java MapReduce. Например, у меня есть записи из набора данных A и набора данных B, и мне бы хотелось, чтобы каждая запись...
вопрос задан: 28 April 2012 17:41
0
ответов
Как реализовать MapReduce в C#с помощью PLINQ?
Как реализовать MapReduce на C#с помощью PLINQ? Предположим, у вас есть 7-8 веб-сервисов для сбора данных, и при каждом получении (асинхронным способом)вы должны поместить эти данные в некоторые таблицы базы данных, в моей...
вопрос задан: 23 April 2012 10:24
0
ответов
Hadoop MapReduce предоставляет вложенные каталоги в качестве входных данных для задания
Я работаю над заданием, которое обрабатывает вложенную структуру каталогов, содержащую файлы на нескольких уровнях :один/ ├── три/ │ └── четыре/ │ ├── baz.txt │ ├── bleh.txt │ └── foo.txt └──...
вопрос задан: 19 April 2012 08:53
0
ответов
AWS DynamoDB и MapReduce в Java
У меня есть огромная таблица DynamoDB, которую я хочу проанализировать для агрегирования данных, хранящихся в ее атрибутах. Затем агрегированные данные должны быть обработаны приложением Java. Хотя я понимаю...
вопрос задан: 18 April 2012 03:56
0
ответов
Пример Hadoop WordCount застрял на карте 100% уменьшить 0%
[hadoop -1.0.2] → hadoop jar hadoop -примеры -1.0.2.jar количество слов /user/abhinav/input /user/abhinav/output Предупреждение :$HADOOP _HOME устарело. ****hdfs ://локальный хост :54310/пользователь/абхинав/ввод 04/12/...
вопрос задан: 15 April 2012 22:47
0
ответов
запуск программного обеспечения Hadoop на офисных компьютерах (во время простоя)
Существует ли проект, помогающий настроить кластер Hadoop на офисных компьютерах, когда они простаивают? Я хотел бы поэкспериментировать с Hadoop/MR/hbase, но у меня нет доступа к 5-10 компьютерам. Компьютеры за работой...
вопрос задан: 14 April 2012 05:06
0
ответов
Вычисление медианы в уменьшении карты
Может ли кто-нибудь привести пример вычисления медианы/квантилей в уменьшении карты? Мое понимание медианы Datafu заключается в том, что преобразователи 'n' сортируют данные и отправляют данные в редуктор "1", который...
вопрос задан: 11 April 2012 15:53
0
ответов
Как рассчитать максимальное значение с помощью Map-Reduce в CouchDB?
Я знаю, что есть встроенная-в _статистическая функция, которая дает вам сумму, количество, минимум, максимум и сумму кв. Что я хотел бы знать, так это то, как рассчитать только максимум на карте-reduce. Я не могу придумать сокращение...
вопрос задан: 11 April 2012 14:12
0
ответов
Запуск каталога локальной файловой системы в качестве входных данных для картографа в кластере
Я дал входные данные для картографа из локальной файловой системы. Он успешно работает из eclipse, но не из кластер, так как он не может найти локальный входной путь, говоря, что :входной путь не...
вопрос задан: 11 April 2012 14:11
0
ответов
Попытка включить запрос в вызов MongoDB MapReduce
Я пытаюсь создать очень простой пример сокращения карты, который также включает запрос в вызове API MapReduce. В моей коллекции много записей, отформатированных следующим образом: {"_id": {"$ binary": "...
вопрос задан: 10 April 2012 07:27
0
ответов
В java-драйвере MongoDB область действия команды Mapreduce; добавить функции в область действия
Это способ выполнения задачи сокращения карты MongoDB через драйвер Java, в котором вы создаете область DBObject, содержащую функции. Я могу выполнить свою конфигурацию уменьшения карты в javascript, где ...
вопрос задан: 9 April 2012 22:08
0
ответов
Программа подсчета слов в Hive
Я пытаюсь изучить Hive. Удивительно, но я не могу найти пример того, как написать простую работу по подсчету слов. Правильно ли следующее? Допустим, у меня есть входной файл input.tsv: привет, мир
это...
вопрос задан: 6 April 2012 06:27
0
ответов
NSArray. Как реализовать функцию карты?
В iOS я хочу реализовать функцию карты для NSArray. Это функция, которая применяется к каждому элементу массива. Каков наилучший способ реализовать это? Спасибо,
Дуг
вопрос задан: 6 April 2012 05:54
0
ответов
Использование параметра «limit» в функции CouchDB View Map
Я знаю, что через REST API , можно указать параметр «limit» (например, ?limit=5), чтобы ограничить количество результатов, возвращаемых из данного представления в CouchDB. Мой вопрос заключается в том, или ...
вопрос задан: 4 April 2012 15:59
0
ответов
HBase:Нужен ли мне jobtracker/tasktracker
Если я не выполняю какие-либо задачи сопоставления/уменьшения, все же должны быть запущены JobTracker/TaskTrackers для некоторой внутренней зависимости HBase?
вопрос задан: 4 April 2012 07:25
0
ответов
Блокирует ли MongoDB MapReduce базу данных
Блокирует ли задание MongoDB MapReduce базу данных? Я разрабатываю многопользовательское веб-приложение MongoDB и беспокоюсь о многопользовательских конфликтах и производительности. У кого-нибудь есть мудрые слова ...
вопрос задан: 1 April 2012 16:18
0
ответов
Как использовать код MATLAB в картографе (Hadoop )?
У меня есть код Matlab, который обрабатывает изображения. Я хочу создать картограф Hadoop, использующий этот код. Я наткнулся на следующие решения, но не уверен, какое из них лучше (, так как очень сложно...
вопрос задан: 31 March 2012 14:47
0
ответов
Ошибка Broken Pipe приводит к сбою потокового задания Elastic MapReduce на AWS
Все работает нормально локально, когда я делаю следующее: cat input | python mapper.py | сортировать | python reducer.py Однако, когда я запускаю потоковое задание MapReduce на AWS Elastic Mapreduce, задание не ...
вопрос задан: 26 March 2012 23:15
0
ответов
Разница в вызове задания
В чем разница между вызовом задания mapreduce из main() и из ToolRunner.run()? Когда мы говорим, что основной класс говорит MapReduce extends Configured реализует Tool , что такое ...
вопрос задан: 25 March 2012 11:05
0
ответов
Вызов задания mapreduce из простой Java-программы
Я пытался вызвать задание mapreduce из простой Java-программы в том же пакете.. Я пытался сослаться на файл jar mapreduce в моей Java-программе и вызовите его с помощью runJar(String args[]) ...
вопрос задан: 25 March 2012 07:37
0
ответов
Scala/Hadoop: определение контекста для редуктора
Прежде чем приступить к игре со Scoobi или Scrunch, я решил попробовать портировать WordCount на scala (2.9.1), используя только Hadoop (0.20.1) Java-привязки. Первоначально у меня было: class Map extends Mapper[...
вопрос задан: 25 March 2012 01:57
0
ответов
Как присоединиться к коллекциям MongoDB в Python?
Как соединить (в смысле ВНУТРЕННЕГО СОЕДИНЕНИЯ из SQL) две коллекции MongoDB в Python? Нужно ли мне использовать нативную карту/сокращать код javascript или делать это в PyMongo? Как решить это с меньшим количеством кода?
вопрос задан: 19 March 2012 13:53
0
ответов
identityreducer в новом API Hadoop
Я потратил почти день, но так и не смог понять, как использовать IdentityReducer в новом API Hadoop. Все ссылки или классы, которые я могу найти, относятся к старому API. И явное смешение старого API...
вопрос задан: 17 March 2012 03:11
0
ответов
Умножение матриц Hadoop
Я запускал программу умножения матриц MapReduce, которую можно найти на http://www.norstad.org/matrix-multiply/index. .html. Я обнаружил, что эта реализация не работает должным образом, когда есть 0 в ...
вопрос задан: 16 March 2012 16:41
0
ответов
Как анализировать CustomWritable из текста в Hadoop
Скажем, у меня есть временные метки для конкретных пользователей в текстовых файлах, например #userid; unix-временная метка; ценность
1; 01.01.2010 00:00:00; 10
2; 01.01.2010 00:00:00; 20
1; 01.01.2010 01:00:00; 11
2; 2010-01-01 01:...
вопрос задан: 15 March 2012 14:25