1
ответ
считая жанры у свиньи
Я имею дело с набором данных movies.dat, предоставленным movielensdata. Первые 5 строк данных: 1: История игрушек (1995): Приключения | Анимация | Дети | Комедии | Фэнтези 2: Джуманджи (1995): Приключения | Дети | Фантазия 3: ...
вопрос задан: 29 March 2019 12:35
1
ответ
Mapreduce возврат каретки
Я хочу обработать файлы CommonCrawl WARC в MapReduce, используя формат ввода s3a. Проблема в том, что символ возврата каретки в конце строк ввода удаляется, и вместо него ставится табуляция (как ...
вопрос задан: 20 January 2019 12:17
1
ответ
MapReduce Задача прыгает с 0% до 100% сразу без вывода
Я пытаюсь реализовать базовую Java-программу MapReduce, чтобы узнать максимальную температуру из заданного набора данных. Моя карта отображается как выполняющаяся пошагово (0%, 10%, 18%, 27%, ... 100%), но ...
вопрос задан: 19 January 2019 03:47
1
ответ
Запустите MapReduce Jar в облачных данных Spring
Мне нужно запустить весеннее загрузочное приложение mapreduce в облачном потоке данных Spring. Обычно приложения, зарегистрированные в scdf, выполняются с помощью команды "java -jar jar-name". Но моя программа это mapreduce и ...
вопрос задан: 18 January 2019 04:53
1
ответ
Запуск счетчика слов MapReduce в Hadoop выдает сообщение об исключении: система не может найти указанный путь
это мой первый вопрос о переполнении стека. Я настроил свой кластер с одним узлом hadoop (2.9.2) в псевдораспределенном режиме. Когда я пытаюсь запустить Jadoop Jar C: /MapReduceClient.jar wordcount / input_dir / ...
вопрос задан: 16 January 2019 18:58
1
ответ
MapReduce Jaccard Расчет сходства для фильма Рекомендации
Я даю экзамен по распределенным системам, и я пытался решить проблему MapReduce с прошлогоднего экзамена. Но мне трудно понять, какие функции MR я создам. Упражнение ...
вопрос задан: 16 January 2019 14:16
1
ответ
Добавление параллелизма с итерацией по коллекции, отображение на несколько хэш-карт и сокращение до одного
Имейте конкретный вариант использования и не слишком уверен в наилучшем подходе. Таким образом, текущий подход прямо сейчас состоит в том, что я повторяю набор объектов (закрытый итератор) и сопоставляю их в hashmap ...
вопрос задан: 13 July 2018 18:19
1
ответ
Используя отображают/уменьшают для отображения свойств в наборе
Обновление: продолжение MongoDB Получает названия всех ключей в наборе. Как указано Kristina, можно использовать Mongodb, отображают/уменьшают для списка ключей в наборе: db.things.insert ({тип: ['собака', '...
вопрос задан: 23 May 2017 12:08
1
ответ
Можно ли запустить Hadoop в псевдораспределенной работе без HDFS?
Я изучаю варианты запуска приложения Hadoop в локальной системе. Как и во многих приложениях, первые несколько выпусков должны работать на одном узле, если мы можем использовать все ...
вопрос задан: 23 May 2017 11:53
1
ответ
Как Hadoop выполняет входные разделения?
Это - концептуальный вопрос, включающий Hadoop/HDFS. Позволяет говорят, что у Вас есть файл, содержащий 1 миллиард строк. И ради простоты, позволяет, полагают, что каждая строка имеет форму <k, v> где...
вопрос задан: 7 January 2016 14:56
1
ответ
Лучший способ сделать one-many “СОЕДИНЕНИЕ” в CouchDB
Я ищу CouchDB, эквивалентный "соединениям SQL". В моем примере существуют документы CouchDB, которые являются элементами списка: {"введите": "el", "идентификатор": "1", "содержание": "сначал
вопрос задан: 28 July 2015 14:41
1
ответ
Ошибка в MapReduce Hadoop
Когда я выполняю mapreduce использование программы Hadoop, я получаю следующую ошибку. 01.10.18 10:52:48 ИНФОРМАЦИИ mapred. JobClient: идентификатор Задачи: attempt_201001181020_0002_m_000014_0, Состояние: ОТКАЗАВШИЙ java.io. IOException:...
вопрос задан: 27 June 2013 22:14
1
ответ
Каков эффект hasoop job.setOutputKeyClass () в результате вывода? [Дубликат]
В общей программе mapreduce, такой как количество слов, мы имеем: public static class MyMapper extends Mapper (Object, Text, Text / * output key class * /, IntWritable / * output value class * /) {public void main (...). ..
вопрос задан: 9 January 2013 23:55
1
ответ
Различие между Ветвлением/Соединением и Отображает/Уменьшает
Каково основное отличие между Ветвлением/Соединением, и Отобразите/Уменьшите? Они отличаются по виду разложения и распределения (данные по сравнению с вычислением)?
вопрос задан: 25 July 2012 07:51
1
ответ
Сетевое узкое место пропускной способности для сортировки mapreduce промежуточных ключей?
Я изучал mapreduce алгоритм и как он может потенциально масштабироваться к миллионам машин, но я не понимаю, как сортировка промежуточных ключей после фазы карты может масштабироваться...
вопрос задан: 14 July 2012 02:49
1
ответ
Нет такого исключения метода Hadoop < init >
Когда я запускаю файл Hadoop .jar из командной строки, он выдает исключение, в котором говорится, что такой метод не является методом StockKey. StockKey - мой пользовательский класс, определенный для моего собственного типа ключа. Здесь ...
вопрос задан: 12 July 2012 07:31
1
ответ
Используя MongoDB отображают/уменьшают для “группировки” двумя полями
Мне нужно что-то немного более сложное, чем примеры в документах MongoDB, и я, может казаться, не могу перенести голову вокруг этого. Скажите, что у меня есть набор объектов формы {дата: "2010-10-10"...
вопрос задан: 4 June 2012 12:08
1
ответ
mongodb - карта / уменьшить с разбивкой на страницы [дублировать]
Я использую Mongo 3.4, и я выполняю операцию уменьшения карты на 100-миллиметровой коллекции документов. Я могу разбивать M / R на: помещая его внутри цикла while, где я могу выполнить find (). Limit (). Skip (), ...
вопрос задан: 9 February 2012 13:31
1
ответ
Какова вычислительная сложность MapReduce наверху
Учитывая, что сложность карты и уменьшает задачи, O (карта) =f (n), и O (уменьшают) =g (n), имеет кого-либо занявшего время, чтобы записать как Отображение/Уменьшение внутренних операций (сортировка, перестановка, отправка...
вопрос задан: 26 September 2010 23:14
1
ответ
Карта монго Уменьшает в первый раз
В первый раз Отображают/Уменьшают пользователя здесь и использование MongoDB. У меня есть много данных посещения страницы, из которых я хотел бы иметь некоторый смысл при помощи, Отображают/Уменьшают. Ниже в основном, что я хочу сделать, но как общее коли
вопрос задан: 14 September 2010 10:11
1
ответ
Получение начал с MapReduce / Hadoop [закрыто]
В последнее время, Я много читал о MapReduce / Hadoop и думаю, что это то место, куда сейчас движется индустрия. Я хочу начать изучать MapReduce / Hadoop, и я подумал, что лучший способ начать это ...
вопрос задан: 1 September 2010 00:06
1
ответ
Подсчет Уникального Пользовательского использования Mapreduce для Java Appengine
Я пытаюсь считать число уникальных пользователей в день на моем Java appengine приложением. Я решил использовать mapreduce платформу (mapreduce.appspot.com) для Java appengine, чтобы сделать это вычисление офлайн....
вопрос задан: 28 June 2010 00:14
1
ответ
Устройство хранения данных проанализированных данных логов в hadoop и экспорте его в реляционный DB
У меня есть требование парсинга и журналы доступа Apache и журналы кота, один за другим использующие карту, уменьшают. Немного полей извлекаются из журнала кота и отдыха от журнала Apache. Я должен объединить карту/...
вопрос задан: 20 June 2010 19:13
1
ответ
MongoDB MapReduce: Глобальные переменные в экземпляре функции карты?
Я записал MapReduce в MongoDB и хотел бы использовать глобальную переменную в качестве кэша для записи в от. Я знаю, что не возможно иметь глобальные переменные через экземпляры функции карты - я просто...
вопрос задан: 8 June 2010 09:51
1
ответ
0.20.2 API hadoop версия с java 5
Я запустил проект знатока, пытающийся реализовать алгоритм MapReduce в Java 1.5.0_14. Я выбрал 0.20.2 API hadoop версия. В pom.xml я использую таким образом следующую зависимость: <...
вопрос задан: 7 June 2010 15:11
1
ответ
Глобальные переменные в hadoop
Моя программа следует, повторяющееся отображают/уменьшают подход. И это должно остановиться, если определенные условия соблюдены. Есть ли так или иначе, я могу установить глобальную переменную, которая может быть распределена через все, отображают/уменьша
вопрос задан: 23 May 2010 14:56
1
ответ
Идея проекта с [закрытым] MapReduce Hadoop
Я изучил Hadoop несколько месяцев назад и сумел сделать очень вводный проект программирования на нем. Я хочу сделать маленькое - проект среднего размера или ряд маленьких распределений работы по программированию с Hadoop. Я...
вопрос задан: 14 May 2010 02:41
1
ответ
Amazon Эластичный MapReduce: Не удалось создать поток заданий с большим количеством экземпляров
Каждый раз я пытаюсь создать поток заданий больше чем с 20 экземплярами, сбоями создания. Это работает на меня большую часть времени меньше чем с 20 экземплярами. Есть ли любое ограничение на количество...
вопрос задан: 11 May 2010 17:58
1
ответ
Несколько строк текста к единственной карте
Я пытался использовать Hadoop для отправки суммы N строк к единственному отображению. Я не требую, чтобы строки уже были разделены. Я попытался использовать NLineInputFormat, однако который отправляет строки N...
вопрос задан: 26 April 2010 04:13
1
ответ
Потоковая передача Hadoop mapreduce от HBase
Я создаю Hadoop (0.20.1) mapreduce задание, которое использует HBase (0.20.1) и в качестве источника данных и в качестве приемника данных. Я хотел бы записать задание в Python, который потребовал, чтобы я использовал hadoop-0.20.1-...
вопрос задан: 10 November 2009 09:50