0
ответов
Запрос двух связанных таблиц (Соединения)
Это первая таблица в Hive -. Она содержит информацию о предмете, который мы покупаем. СОЗДАЙТЕ ВНЕШНЮЮ ТАБЛИЦУ, ЕСЛИ НЕ СУЩЕСТВУЕТ Таблица 1 (Это ГЛАВНАЯ таблица, по которой необходимо проводить сравнения)
(...
вопрос задан: 6 July 2012 22:44
0
ответов
Проблема с размером блока Hadoop и размером файла?
Это может показаться глупым вопросом, но в Hadoop предполагается, что размер блока равен X (, обычно 64 или 128 МБ ), а локальный размер файла равен Y (, где Y меньше X ). Теперь, когда я копирую файл Y в HDFS он будет потреблять...
вопрос задан: 6 July 2012 20:05
0
ответов
Конфигурация медленного старта Hadoop
Каково идеальное значение для «mapred.reduce.slowstart.completed.maps» для задания Hadoop? Каковы правила, которым нужно следовать, чтобы установить его надлежащим образом? Спасибо!
вопрос задан: 6 July 2012 19:56
0
ответов
MapReduce и SQL GROUP BY
Я пытался понять основы MapReduce в MongoDB, и даже после его реализации я не уверен, чем именно он отличается от GROUP BY в SQL или даже от собственной GROUP BY в Mongo. В SQL...
вопрос задан: 6 July 2012 08:15
0
ответов
Установка количества задач карты и уменьшение количества задач
В настоящее время я выполняю задание. Я установил количество задач карты на 20, но получил большее число. Я также установил задачу уменьшения на ноль, но я все равно получаю отличное от нуля число. Общее время ...
вопрос задан: 4 July 2012 12:56
0
ответов
Сравнение инструментов рабочего процесса :Oozie и каскадирование
Я ищу инструмент рабочего процесса для запуска сложной карты -сокращения рабочих мест. Я имею в виду Oozie, но также хочу изучить Cascading. Есть ли какой-нибудь пример кода или пример, который связывает существующие задания M/R, используя...
вопрос задан: 3 July 2012 18:36
0
ответов
Hadoop java.io.IOException :при запуске формата namenode -
Я запустил формат namenode -. Это мой вывод. Я попытался изменить права доступа к файлу chmod 777 hadoop. Я считаю, что эта строка является ошибкой ERROR namenode.NameNode :java.io.IOException :Cannot create...
вопрос задан: 3 July 2012 16:58
0
ответов
Разделение кортежа на несколько кортежей в Pig
Мне нравится генерировать несколько кортежей из одного кортежа. Я имею в виду, что :у меня есть файл со следующими данными. >> данные кота ID | ИмяСтолбца1 :Значение1 | ColumnName2 :Value2, поэтому я загружаю его с помощью...
вопрос задан: 2 July 2012 18:54
0
ответов
В Hadoop где фреймворк сохраняет вывод задачи Map в обычном Map-Reduce приложении?
Я пытаюсь выяснить, где сохраняется вывод задачи Map на диск, прежде чем он может быть использован задачей Reduce. Примечание: - используется версия Hadoop 0.20.204 с новым API Например, когда ...
вопрос задан: 2 July 2012 17:01
0
ответов
Лучшие практики Hadoop и MS SQL Server
Я слежу за Hadoop некоторое время, это кажется отличной технологией. Карта / уменьшение, кластеризация - это просто хорошие вещи. Но я не нашел ни одной статьи об использовании Hadoop с SQL Server. ...
вопрос задан: 2 July 2012 11:10
0
ответов
кластерное генетическое программирование / алгоритмы
Недавно я пытался понять, можно ли использовать кластеры HADOOP для генетических алгоритмов / задач программирования. Я читал о hadoop и понимаю, что он может парализовать обработку ...
вопрос задан: 2 July 2012 09:10
0
ответов
помещение удаленного файла в hadoop без его копирования на локальный диск
Я пишу сценарий оболочки, чтобы помещать данные в hadoop, как только они будут сгенерированы. Я могу подключиться к своему главному узлу по ssh, скопировать файлы в папку и затем поместить их в hadoop. Ищу...
вопрос задан: 30 June 2012 00:33
0
ответов
Почему существует ограничение на количество счетчиков, разрешенных в задании сокращения карты Hadoop?
Я использую Hadoop map-reduce и получаю исключение CountersExceededException, когда пытался программно создать множество счетчиков заданий. Я знаю, что могу увеличить количество разрешенных счетчиков с помощью ...
вопрос задан: 27 June 2012 19:05
0
ответов
Должны ли кластеры hadoop работать на идентичном оборудовании?
Помню, я где-то читал, что производительность Hadoop значительно ухудшается, если машины, на которых он работает, сильно отличаются друг от друга, но я больше не могу найти этот комментарий. Я...
вопрос задан: 25 June 2012 17:42
0
ответов
NullPointerException от Hadoop JobSplitWriter/SerializationFactory при вызове InputSplit getClass()
Я получаю NullPointerException при запуске задания MapReduce. Он вызывается методом getSerializer() класса SerializationFactory. Я использую пользовательский InputSplit, InputFormat, RecordReader и...
вопрос задан: 25 June 2012 14:21
0
ответов
Разница между невыполненными задачами и убитыми задачами
В веб-интерфейсе Jobtracker я вижу этот столбец под названием «Не удалось/убито». Попытки задачи». Я хотел бы знать разницу между ними. Я думаю, что «Неудачные» означают задачи, которые в конечном итоге действительно провалились...
вопрос задан: 22 June 2012 23:40
0
ответов
Hadoop MultipleInputs завершается с ошибкой ClassCastException
Моя версия hadoop 1.0.3, когда я использую множественные входы, я получаю эту ошибку. java.lang.ClassCastException: org.apache.hadoop.mapreduce.lib.input.TaggedInputSplit не может быть приведен к org.apache.hadoop....
вопрос задан: 21 June 2012 16:26
0
ответов
Rails с Hadoop
У меня будет огромное количество данных для хранения, как у кореров для резюме, и я хотел бы рассмотреть Hadoop в качестве серверной части. Возможно ли использовать его с рубином на рельсах или просто нужно учитывать redis или mongodb. любой ...
вопрос задан: 21 June 2012 10:59
0
ответов
Инструменты графического интерфейса разработчика и администратора для Hadoop
Может ли кто-нибудь дать совет по поводу каких-либо GUI-инструментов для разработки и администрирования Hadoop?
вопрос задан: 20 June 2012 20:30
0
ответов
Понимание LongWritable
Извините, если это глупый вопрос, но я не смог найти ответ с помощью поиска Google.
Как я могу понять тип LongWritable? Что это такое? Может ли кто-нибудь дать ссылку на схему или другую полезную страницу.
вопрос задан: 18 June 2012 15:51
0
ответов
Hadoop — Запись в HBase напрямую из Mapper
У меня есть задание Hadoop, вывод которого должен быть записан в HBase. Мне действительно не нужен редьюсер, тип строки, которую я хотел бы вставить, определяется в Mapper. Как я могу использовать TableOutputFormat для...
вопрос задан: 16 June 2012 10:38
0
ответов
Установить пользователя системы Hadoop для клиента, встроенного в веб-приложение Java
Я хотел бы отправить задания MapReduce из веб-приложения Java в удаленный кластер Hadoop, но не могу указать, какой пользователь работа должна быть представлена для. Я хотел бы настроить и использовать ...
вопрос задан: 16 June 2012 10:12
0
ответов
Возможно ли иметь несколько входных данных с несколькими разными преобразователями в Hadoop MapReduce?
Возможно ли иметь несколько входных данных с несколькими разными преобразователями в Hadoop MapReduce? Каждый класс преобразователя работает с различным набором входных данных, но все они будут генерировать пары ключ-значение, потребляемые ...
вопрос задан: 16 June 2012 00:23
0
ответов
При использовании HBase в качестве источника для MapReduce можно ли расширить TableInputFormatBase, чтобы создать несколько разбиений и несколько преобразователей для каждого региона?
Я думаю об использовании HBase в качестве источника для одного из моих заданий MapReduce. Я знаю, что TableInputFormat указывает одно разделение ввода (и, следовательно, один преобразователь) для каждого региона. Однако это кажется неэффективным. Я'...
вопрос задан: 14 June 2012 18:54
0
ответов
Алгоритм распределенного локального коэффициента кластеризации (MapReduce/Hadoop)
Я реализовал алгоритм локального коэффициента кластеризации на основе парадигмы MapReduce. Однако я столкнулся с серьезными проблемами для больших наборов данных или определенных наборов данных (высокая средняя степень узла). Я ...
вопрос задан: 14 June 2012 13:42
0
ответов
Hadoop: Как работает OutputCollector во время MapReduce?
Я хочу знать, используется ли вывод «экземпляра» OutputCollector в функции карты:
output.collect(ключ, значение)
этот -выход- где-то хранит пары ключ-значение?
даже если он излучает в редуктор ...
вопрос задан: 14 June 2012 09:08
0
ответов
Значения редуктора Hadoop в памяти?
Я пишу задание MapReduce, которое может закончиться огромным количеством значений в редюсере. Я обеспокоен тем, что все эти значения загружаются в память одновременно. Использует ли базовая реализация...
вопрос задан: 13 June 2012 23:12
0
ответов
Hadoop: нет такого исключения метода
Я написал программу MapReduce, код приведен ниже: import java.io.IOException;
импортировать java.util.Iterator;
импортировать org.apache.hadoop.io.IntWritable;
импортировать org.apache.hadoop.io.LongWritable;
import org....
вопрос задан: 13 June 2012 20:28
0
ответов
Hadoop MapReduce: Соответствующий размер входных файлов?
У меня есть наборы данных величиной в 3 ГБ или даже 1 или 2 ТБ. Таким образом, входные файлы представляют собой список файлов, каждый размером около 10 ГБ. Моя работа по уменьшению карты в Hadoop обрабатывает все эти файлы и ...
вопрос задан: 13 June 2012 12:51
0
ответов
Восстановить таблицу HBase (неназначенный регион в процессе перехода)
Я немного застрял при восстановлении неисправной таблицы (на Hbase 0.92.1-cdh4.0.0, Hadoop 2.0.0 -cdh4.0.0) Существует незаконченный переходный регион: Состояние региона
bf2025f4bc154914b5942af4e72ea063 ...
вопрос задан: 13 June 2012 07:35