0
ответов
Установка количества задач карты и уменьшение количества задач
В настоящее время я выполняю задание. Я установил количество задач карты на 20, но получил большее число. Я также установил задачу уменьшения на ноль, но я все равно получаю отличное от нуля число. Общее время ...
вопрос задан: 4 July 2012 12:56
0
ответов
Сравнение инструментов рабочего процесса :Oozie и каскадирование
Я ищу инструмент рабочего процесса для запуска сложной карты -сокращения рабочих мест. Я имею в виду Oozie, но также хочу изучить Cascading. Есть ли какой-нибудь пример кода или пример, который связывает существующие задания M/R, используя...
вопрос задан: 3 July 2012 18:36
0
ответов
В Hadoop где фреймворк сохраняет вывод задачи Map в обычном Map-Reduce приложении?
Я пытаюсь выяснить, где сохраняется вывод задачи Map на диск, прежде чем он может быть использован задачей Reduce. Примечание: - используется версия Hadoop 0.20.204 с новым API Например, когда ...
вопрос задан: 2 July 2012 17:01
0
ответов
Лучшие практики Hadoop и MS SQL Server
Я слежу за Hadoop некоторое время, это кажется отличной технологией. Карта / уменьшение, кластеризация - это просто хорошие вещи. Но я не нашел ни одной статьи об использовании Hadoop с SQL Server. ...
вопрос задан: 2 July 2012 11:10
0
ответов
Как динамически передавать параметры в функцию сопоставления в GAE mapreduce?
Мне нужно запустить задание mapreduce, которое является динамическим в том смысле, что параметры должны передаваться карте и функциям сокращения каждый раз, когда запускается задание mapreduce (, например, в ответ на запрос пользователя )....
вопрос задан: 29 June 2012 21:45
0
ответов
Управление версиями карты CouchDB -Функции сокращения
Как мне управлять версиями моей карты/уменьшить функции для CouchDB? Я хотел бы иметь возможность проверить их в git/github, чтобы мои товарищи по команде могли легко применять их в своих локальных тестовых средах. Я знаю...
вопрос задан: 29 June 2012 16:18
0
ответов
Почему существует ограничение на количество счетчиков, разрешенных в задании сокращения карты Hadoop?
Я использую Hadoop map-reduce и получаю исключение CountersExceededException, когда пытался программно создать множество счетчиков заданий. Я знаю, что могу увеличить количество разрешенных счетчиков с помощью ...
вопрос задан: 27 June 2012 19:05
0
ответов
NullPointerException от Hadoop JobSplitWriter/SerializationFactory при вызове InputSplit getClass()
Я получаю NullPointerException при запуске задания MapReduce. Он вызывается методом getSerializer() класса SerializationFactory. Я использую пользовательский InputSplit, InputFormat, RecordReader и...
вопрос задан: 25 June 2012 14:21
0
ответов
Разница между невыполненными задачами и убитыми задачами
В веб-интерфейсе Jobtracker я вижу этот столбец под названием «Не удалось/убито». Попытки задачи». Я хотел бы знать разницу между ними. Я думаю, что «Неудачные» означают задачи, которые в конечном итоге действительно провалились...
вопрос задан: 22 June 2012 23:40
0
ответов
Инструменты графического интерфейса разработчика и администратора для Hadoop
Может ли кто-нибудь дать совет по поводу каких-либо GUI-инструментов для разработки и администрирования Hadoop?
вопрос задан: 20 June 2012 20:30
0
ответов
Понимание LongWritable
Извините, если это глупый вопрос, но я не смог найти ответ с помощью поиска Google.
Как я могу понять тип LongWritable? Что это такое? Может ли кто-нибудь дать ссылку на схему или другую полезную страницу.
вопрос задан: 18 June 2012 15:51
0
ответов
Hadoop — Запись в HBase напрямую из Mapper
У меня есть задание Hadoop, вывод которого должен быть записан в HBase. Мне действительно не нужен редьюсер, тип строки, которую я хотел бы вставить, определяется в Mapper. Как я могу использовать TableOutputFormat для...
вопрос задан: 16 June 2012 10:38
0
ответов
Возможно ли иметь несколько входных данных с несколькими разными преобразователями в Hadoop MapReduce?
Возможно ли иметь несколько входных данных с несколькими разными преобразователями в Hadoop MapReduce? Каждый класс преобразователя работает с различным набором входных данных, но все они будут генерировать пары ключ-значение, потребляемые ...
вопрос задан: 16 June 2012 00:23
0
ответов
При использовании HBase в качестве источника для MapReduce можно ли расширить TableInputFormatBase, чтобы создать несколько разбиений и несколько преобразователей для каждого региона?
Я думаю об использовании HBase в качестве источника для одного из моих заданий MapReduce. Я знаю, что TableInputFormat указывает одно разделение ввода (и, следовательно, один преобразователь) для каждого региона. Однако это кажется неэффективным. Я'...
вопрос задан: 14 June 2012 18:54
0
ответов
Алгоритм распределенного локального коэффициента кластеризации (MapReduce/Hadoop)
Я реализовал алгоритм локального коэффициента кластеризации на основе парадигмы MapReduce. Однако я столкнулся с серьезными проблемами для больших наборов данных или определенных наборов данных (высокая средняя степень узла). Я ...
вопрос задан: 14 June 2012 13:42
0
ответов
Hadoop: Как работает OutputCollector во время MapReduce?
Я хочу знать, используется ли вывод «экземпляра» OutputCollector в функции карты:
output.collect(ключ, значение)
этот -выход- где-то хранит пары ключ-значение?
даже если он излучает в редуктор ...
вопрос задан: 14 June 2012 09:08
0
ответов
Значения редуктора Hadoop в памяти?
Я пишу задание MapReduce, которое может закончиться огромным количеством значений в редюсере. Я обеспокоен тем, что все эти значения загружаются в память одновременно. Использует ли базовая реализация...
вопрос задан: 13 June 2012 23:12
0
ответов
Hadoop: нет такого исключения метода
Я написал программу MapReduce, код приведен ниже: import java.io.IOException;
импортировать java.util.Iterator;
импортировать org.apache.hadoop.io.IntWritable;
импортировать org.apache.hadoop.io.LongWritable;
import org....
вопрос задан: 13 June 2012 20:28
0
ответов
MongoDB MapReduce — выделение одного ключа/одного значения не вызывает редукции
Итак, я новичок в mongodb и mapreduce в целом и столкнулся с этой «причудой» (или, по крайней мере, в моем уме причудой). Скажем, у меня есть объекты в моя коллекция выглядит так: {'key':5, 'value':5} {'key':5, '...
вопрос задан: 13 June 2012 19:11
0
ответов
Hadoop MapReduce: Соответствующий размер входных файлов?
У меня есть наборы данных величиной в 3 ГБ или даже 1 или 2 ТБ. Таким образом, входные файлы представляют собой список файлов, каждый размером около 10 ГБ. Моя работа по уменьшению карты в Hadoop обрабатывает все эти файлы и ...
вопрос задан: 13 June 2012 12:51
0
ответов
Как лучше всего запускать Map/Reduce на данных из Mongo?
У меня есть большая база данных Mongo (100 ГБ), размещенная в облаке (MongoLab или MongoHQ). Я хотел бы выполнить некоторые задачи Map/Reduce для данных, чтобы вычислить некоторую дорогостоящую статистику, и мне было интересно, что за ...
вопрос задан: 12 June 2012 10:01
0
ответов
Конфигурация Hadoop: mapred.* vs mapreduce.*
Я заметил, что существует два набора параметров конфигурации Hadoop: один с mapred.*, а другой с mapreduce.. Я предполагаю, что это может быть связано со старым API против нового API, но если я не ошибаюсь, ...
вопрос задан: 12 June 2012 05:09
0
ответов
Сокращение карты MongoDB с помощью запроса
У меня есть довольно большая база данных MongoDB, из которой мне нужно извлечь статистику, и я делаю это, запустив запрос Map Reduce. Теперь проблема в том, что мне нужно сузить запрос, чтобы использовать, например, статус: «черновик»…
вопрос задан: 10 June 2012 13:46
0
ответов
методы настройки и очистки Mapper/Reducer в Hadoop MapReduce
Вызываются ли методы настройки и очистки в каждой задаче сопоставления и редьюсера соответственно? Или они вызываются только один раз в начале общих заданий картографа и редуктора?
вопрос задан: 4 June 2012 22:15
0
ответов
WARN snappy.LoadSnappy: Не загружена родная библиотека Snappy
что бы я ни делал, я не могу избавиться от этой ошибки. Я знаю, что snappy — это быстрая и, следовательно, предпочтительная библиотека сжатия/распаковки по сравнению с другими вариантами. Я хотел бы использовать эту библиотеку для своего...
вопрос задан: 4 June 2012 07:55
0
ответов
Probleem om tasktracker in hadoop onder windows te begin
Ek probeer hadoop onder windows gebruik en loop 'n probleem raak wanneer ek tasktracker wil begin. Byvoorbeeld: $ bin / start-all.sh dan skryf die logboeke: 2011-06-08 16: 32: 18,157 FOUT org ....
вопрос задан: 1 June 2012 18:01
0
ответов
«объединить» параметры сортировки представления в полезный вывод в CouchDB
При выполнении «соединения» в CouchDB, вы можете использовать сортировку представлений, чтобы группировать записи вместе. Например, наличие двух типов документов: клиенты и заказы. Чтобы вы могли вернуть клиента, а затем все ...
вопрос задан: 23 May 2012 08:46
0
ответов
Поиск подключенных компонентов с помощью Hadoop/MapReduce
Мне нужно найти подключенные компоненты для огромного набора данных. (График ненаправленный) Одним из очевидных вариантов является MapReduce. Но я новичок в MapReduce, и у меня мало времени, чтобы разобраться с ним и написать код...
вопрос задан: 20 May 2012 21:30
0
ответов
Как научиться использовать Java commons-collections?
Странное название, я знаю, позвольте мне объяснить. Я разработчик, наиболее знакомый с C# и Javascript. Я полностью погружен в эти полуфункциональные миры до такой степени, что большая часть моего кода - это отображение/...
вопрос задан: 17 May 2012 15:32
0
ответов
hadoop: разница между редуктором 0 и редуктором идентичности?
Я просто пытаюсь подтвердить свое понимание разницы между редуктором 0 и редуктором идентичности. 0 редуктор означает, что шаг уменьшения будет пропущен, а вывод mapper будет окончательным выходом
Тождество...
вопрос задан: 17 May 2012 05:44