0
ответов
Параметры распараллеливания / кластера для выполнения кода
Я исхожу из фона java и имею проблему, связанную с процессором, которую я пытаюсь распараллелить для повышения производительности. Я разбил свой код на модульное исполнение, чтобы его можно было распространять ...
вопрос задан: 26 May 2013 10:24
0
ответов
Фаза сортировки объединителя Hadoop
При запуске задания MapReduce с указанным объединителем, выполняется ли объединитель во время фазы сортировки? Я понимаю, что объединитель запускается на выходе картографа для каждого выброса, но похоже, что это будет ...
вопрос задан: 20 May 2013 07:32
0
ответов
Класс «Combiner» в задании mapreduce
Combiner запускается после Mapper и перед Reducer, он получает в качестве входных данных все данные, испускаемые экземплярами Mapper на заданном узле, а затем передает выходные данные в Reducers. Кроме того, если редукция...
вопрос задан: 20 May 2013 07:26
0
ответов
hadoop.mapred против hadoop.mapreduce?
Почему в дереве пакетов Apache есть два отдельных пакета map-Reduce: org.apache.hadoop.mapred http://javasourcecode.org/html/open-source/hadoop/hadoop-1.0.3/org/apache/hadoop / ...
вопрос задан: 29 April 2013 01:15
0
ответов
Как правильно использовать oozie для записи в несколько выходных потоков для задания mapreduce?
Я использую новый API Hadoop для написания последовательности заданий по уменьшению карты. Я планирую использовать Oozie для конвейера всего этого вместе, но я не могу найти способ сделать несколько выходных потоков с карты-...
вопрос задан: 4 April 2013 11:48
0
ответов
Сериализация с использованием ArrayWritable, кажется, работает забавно
Я работал с ArrayWritable, в какой-то момент мне нужно было проверить, как Hadoop сериализует ArrayWritable, вот что я получил установив job.setNumReduceTasks (0): 0 IntArrayWritable @ 10f11b8
3 ...
вопрос задан: 12 March 2013 21:11
0
ответов
уже созданное исключение Hadoop Multiple
Я не получаю приведенную ниже ошибку, когда запускаю код для небольших данных. Но я получаю следующую ошибку при использовании нескольких выходов, когда я запускаю один и тот же код для большего набора данных. Пожалуйста помогите! орг.апач....
вопрос задан: 13 December 2012 01:25
0
ответов
Разница между Hadoop Map Reduce и Google Map Reduce
В чем разница между Hadoop Map Reduce и Google Map Reduce? Это просто Hadoop обеспечивает стандартизацию для уменьшения карты и других? что еще есть среди diff.
вопрос задан: 24 November 2012 21:13
0
ответов
Hadoop генерирует исключение ClassCastException для типа ключа java.nio.ByteBuffer
. Я использую hadoop-0.20.203.0rc1.tar.gz для настройки кластера.
Всякий раз, когда я устанавливаю job.setMapOutputKeyClass (ByteBuffer.class); и запустите задание. Я получаю следующее Исключение: 12/01/13 15:09:00 INFO ...
вопрос задан: 24 October 2012 03:22
0
ответов
Доступные редукторы в Эластичном MapReduce
Я надеюсь, что спрашиваю это правильным способом. Я изучаю свой путь вокруг Эластичного MapReduce, и я видел многочисленные ссылки на "Совокупный" редуктор, который может использоваться с "Потоковой передачей" потоков заданий. В...
вопрос задан: 17 October 2012 21:58
0
ответов
вычислить алгоритм начальной загрузки с использованием Map / Reduce
Первоначально этот вопрос задавался У меня было домашнее задание, но мой ответ был неправильным, и мне любопытно, как лучше всего решить эту проблему. Цель состоит в том, чтобы вычислить ключевые аспекты «Рекомендателя ...
вопрос задан: 15 September 2012 22:55
0
ответов
CouchDB Views:Сколько обработки допустимо при уменьшении карты?
Я экспериментировал с Map Reduce с CouchDB. Некоторые из примеров демонстрируют некоторую, возможно, сложную логику в функциях сокращения карты. В одном конкретном случае они выполняли циклы for внутри...
вопрос задан: 14 September 2012 00:44
0
ответов
Запуск двух преобразователей и двух преобразователей для простых заданий mapreduce в Hadoop
Я просто хотел лучше понять, как использовать несколько картографов и редукторов. Я хочу попробовать это, используя простое задание подсчета слов с помощью hadoop mapreduce. Я хочу запустить два картографа и два редуктора для...
вопрос задан: 7 August 2012 16:10
0
ответов
Получите sysdate -1 в Hive
Есть ли способ получить текущую дату -1 в Hive всегда означает вчерашнюю дату? И в этом формате -20120805? Я могу запустить свой запрос таким образом, чтобы получить данные для вчерашней даты, так как сегодня 6 августа -...
вопрос задан: 7 August 2012 02:28
0
ответов
Передача даты в качестве аргументов командной строки в Hive
У меня есть запрос ниже в файле test1.hql. Я пытаюсь передать дату (dt )в качестве аргумента командной строки. выберите *из губ _данные _качество, где dt = '${hiveconf :start _date}'; Поэтому всякий раз, когда я пытаюсь бежать...
вопрос задан: 4 August 2012 18:48
0
ответов
Эффективное хранение данных в Hive
Как я могу эффективно хранить данные в Hive, а также хранить и извлекать сжатые данные в Hive? В настоящее время я храню его как TextFile. Я просматривал статью Bejoy и обнаружил, что LZO...
вопрос задан: 3 August 2012 17:31
0
ответов
Hadoop :java.lang.ClassCastException :org.apache.hadoop.io.LongWritable нельзя преобразовать в org.apache.hadoop.io.Text
Моя программа выглядит как общедоступный класс TopKRecord extends.Text> { public void map (Текстовый ключ,...
вопрос задан: 2 August 2012 19:48
0
ответов
Hive применяет схему во время чтения?
В чем разница и смысл этих двух утверждений, с которыми я столкнулся во время лекции здесь :1. Традиционные базы данных применяют схему во время загрузки. и 2. Hive применяет схему во время...
вопрос задан: 1 August 2012 17:13
0
ответов
Где используется Sort на этапе MapReduce и почему?
Я новичок в хаупе здесь. Непонятно, зачем нам нужна возможность сортировки по ключам при использовании hadoop mapreduce? После этапа карты нам нужно распределить данные, соответствующие каждому уникальному ключу, на некоторые...
вопрос задан: 31 July 2012 18:05
0
ответов
Разница между локальным режимом PIG и режимом mapreduce
В чем реальная разница между запуском скриптов PIG локально и на mapreduce? Я понимаю, что режим mapreduce — это когда вы запускаете его на кластере с установленным hdfs. Означает ли это, что локальный режим действительно...
вопрос задан: 26 July 2012 12:33
0
ответов
Как написать уменьшение карты в R?
Я новичок в R. Я знаю, как написать сокращение карты на Java. Я хочу попробовать то же самое в R. Так может ли кто-нибудь помочь с кодами образцов и есть ли какой-либо фиксированный формат для MapReduce в R. Пожалуйста, пришлите...
вопрос задан: 26 July 2012 06:39
0
ответов
Почему MapReduce в CouchDB называется «инкрементным»?
Я читаю книгу O'Reilly CouchDB. Я озадачен сокращением/повторным -сокращением/инкрементальным -MapReduce на странице 64. Слишком много остается для риторики в книге О'Рейли с предложением Если вы...
вопрос задан: 23 July 2012 23:22
0
ответов
Задание Hadoop :работает нормально на меньшем наборе данных, но не работает с большим набором данных
У меня следующая ситуация: у меня есть кластер из 3 машин со следующей конфигурацией. Основное использование / :91,4% от 74,41 ГБ MemTotal :16557308 кБ MemFree :723736 КБ Ведомый 01...
вопрос задан: 22 July 2012 16:40
0
ответов
Зачем объявлять классы Mapper и Reducer статическими?
Это, вероятно, свидетельствует о том, что я не понимаю Java, но мне интересно, почему в большинстве программ MapReduce классы картографа и редуктора объявлены как статические?
вопрос задан: 19 July 2012 23:15
0
ответов
Как использовать сгенерированный класс sqoop в MapReduce?
Запрос sqoop генерирует файл Java, содержащий класс, содержащий код для получения доступа в mapreduce к данным столбцов для каждой строки. (импорт Sqoop был выполнен в тексте без --как -...
вопрос задан: 19 July 2012 16:20
0
ответов
Можно ли запускать агенты F #на нескольких компьютерах?
Можно ли запускать агенты F #на нескольких машинах в виде кластера?
вопрос задан: 11 July 2012 09:00
0
ответов
Взорвать массив Struct в Hive
Это приведенная ниже таблица Hive CREATE EXTERNAL TABLE IF NOT EXISTS SampleTable (ПОЛЬЗОВАТЕЛЬ _ID БОЛЬШОЙ, NEW _ПУНКТ МАССИВ> )А это данные в...
вопрос задан: 7 July 2012 21:14
0
ответов
Почему отправка задания на mapreduce занимает так много времени?
Таким образом, обычно для кластера из 20 узлов отправка задания на обработку 3 ГБ (200 разбиений )данных занимает около 30 секунд, а фактическое выполнение — около 1 минуты. Я хочу понять, что является узким местом в процессе отправки вакансий...
вопрос задан: 7 July 2012 00:18
0
ответов
MapReduce и SQL GROUP BY
Я пытался понять основы MapReduce в MongoDB, и даже после его реализации я не уверен, чем именно он отличается от GROUP BY в SQL или даже от собственной GROUP BY в Mongo. В SQL...
вопрос задан: 6 July 2012 08:15
0
ответов
как соединить таблицы в hbase
Мне нужно присоединиться к таблицам в Hbase. Я интегрировал HIVE и HBase, и это работает хорошо. Я могу запросить с помощью HIVE. Но может кто-нибудь помочь мне, как присоединиться к таблицам в HBase без использования HIVE. Я думаю, используя...
вопрос задан: 5 July 2012 13:31