0
ответов
Hadoop HDFS - Cannot connect to port on master
Я создал небольшой кластер Hadoop для тестирования. Установка прошла довольно хорошо с NameNode (1 машина), SecondaryNameNode (1) и всеми DataNode (3). Машины названы "master", "secondary" и "...
вопрос задан: 18 June 2014 12:32
0
ответов
Загрузка данных из одной таблицы Hive в другую с разделом
У меня есть данные в одной таблице Hive, и я хотел бы загрузить данные в другую таблицу Hive. Исходной таблицей является reg_logs, которая имеет 2 раздела, дату и час. Данные загружаются в эту таблицу каждый час. ...
вопрос задан: 13 June 2014 18:05
0
ответов
Искра в бизнес-аналитике
В настоящее время я занимаюсь проектом в области бизнес-аналитики и больших данных, в двух областях, в котором я, честно говоря, новичок и очень экологичен. Я планировал построить Hive Datawarehouse, используя MongoDB и ...
вопрос задан: 6 June 2014 13:02
0
ответов
Пользовательская программа сокращения карты в Hive, что за правило? Как насчет ввода и вывода?
Я застрял на несколько дней, потому что хочу создать собственную программу уменьшения карты на основе моего запроса в улье, я нашел не так много примеров после поиска в Google, и я все еще не понимаю правила. Что такое ...
вопрос задан: 25 May 2014 13:45
0
ответов
В обход org.apache.hadoop.mapred.InvalidInputException: шаблон ввода s3n: // […] соответствует 0 файлам
Это вопрос, который я уже задавал в списке рассылки spark, и я надеюсь добиться большего успеха здесь. Я не уверен, что это напрямую связано с искрой, хотя искра как-то связана с тем, что я ...
вопрос задан: 21 May 2014 13:00
0
ответов
Использование Mapreduce для отображения нескольких уникальных значений, не всегда присутствующих в одних и тех же строках
Я столкнулся со сложной проблемой с Mapreduce. Я пытаюсь сопоставить 2 уникальных значения, которые не всегда присутствуют вместе в одной строке. Как только я их наметил, мне нужно посчитать общее количество ...
вопрос задан: 2 May 2014 14:39
0
ответов
Есть ли опция seqFileDir для «clusterdump» в последней библиотеке «apache mahout»?
Я пытаюсь сделать «clusterdump» на выходе примера кластеризации mahout kmeans (пример synthetic_control). Но я получаю следующую ошибку: > ~/MAHOUT/trunk/bin/mahout clusterdump ...
вопрос задан: 26 April 2014 10:41
0
ответов
Работа RecordReader в Hadoop
Кто-нибудь может объяснить, как на самом деле работает RecordReader? Как работают методы nextkeyvalue(), getCurrentkey() и getprogress() после запуска программы?
вопрос задан: 23 April 2014 03:45
0
ответов
Как бы вы предложили выполнить «Соединение» с потоковой передачей Hadoop?
У меня есть два файла в следующие форматы: поле1, поле2, поле3
field4, field1, field5 Другой номер поля указывает на другое значение. Я хочу объединить два файла с помощью Hadoop Streaming ...
вопрос задан: 11 March 2014 11:47
0
ответов
Маленькие файлы и блоки HDFS
Хранит ли блок в распределенной файловой системе Hadoop несколько небольших файлов, или в блоке хранится только один файл?
вопрос задан: 26 February 2014 22:03
0
ответов
Как импортировать Java-зависимости org.apache с Maven или без него
Итак, краткий обзор: я создаю программу Java, которая использует множество различных импортов import org.apache.hadoop.conf. *; импортировать org.apache.hadoop.fs.Path; импортировать org.apache.hadoop.io. *;...
вопрос задан: 6 February 2014 21:50
0
ответов
Как сделать таблицу HIVE из данных JSON?
Я хочу создать таблицу Hive из некоторых данных JSON (, вложенных ), и выполнять к ней запросы? Это вообще возможно? Мне удалось загрузить файл JSON на S3 и запустить экземпляр EMR, но я не...
вопрос задан: 2 February 2014 22:19
0
ответов
Hadoop 2.2.0: «имя или служба неизвестна»
Моя цель - запустить hadoop 2.2.0 на Ubuntu 12.4. я был в состоянии сделать это, но когда я запускаю следующую команду: rushi @ ubuntu: / usr / local / hadoop $ sbin / start-dfs.sh мой dfs начинает namenode, scondarynamenode ...
вопрос задан: 24 January 2014 06:51
0
ответов
Процесс Datanode не запущен в Hadoop
Используя это руководство, я установил и настроил кластер Hadoop с несколькими узлами -. Когда я набираю команду start -all.sh, она показывает, что все процессы правильно инициализируются следующим образом: :start namenode,...
вопрос задан: 15 January 2014 16:36
0
ответов
Как oozie обрабатывает зависимости?
У меня есть несколько вопросов об общих библиотеках oozie 2.3: В настоящее время я определил общие библиотеки в нашем координаторе.properties: oozie.use.system.libpath=true oozie.libpath= ...
вопрос задан: 14 January 2014 06:42
0
ответов
Hvad er Googles Dremel? Hvordan adskiller det sig fra Mapreduce?
Googles Dremel er beskrevet her. Hvad er forskellen mellem Dremel og Mapreduce?
вопрос задан: 29 December 2013 20:59
0
ответов
Hadoop: не удалось подключиться к ResourceManager
После установки hadoop 2.2 и попытки запуска конвейера example ive получил следующую ошибку (та же самая ошибка появляется после попытки запустить hadoop jar hadoop-mapreduce-examples-2.2.0.jar wordcount ...
вопрос задан: 16 December 2013 09:38
0
ответов
Hadoop 2.2 и Maven
Я хотел перейти с Hadoop 1.2.1 на Hadoop 2.2. В моем проекте я использую Maven, и он может обрабатывать < dependency > < идентификатор_группа > org.apache.hadoop & л; / идентификатор_группа > < артефакт > ...
вопрос задан: 8 November 2013 09:55
0
ответов
Линейное программирование MapReduce
Можно ли решить простую задачу линейного программирования в распределенной системе с помощью MapReduce?
вопрос задан: 1 November 2013 03:22
0
ответов
Разделить таблицу Hive по существующему полю?
Могу ли я разделить таблицу Hive при вставке по существующему полю ? У меня есть файл размером 10 ГБ с полем даты и полем часа дня. Могу ли я загрузить этот файл в таблицу, а затем вставить-перезаписать в другой ...
вопрос задан: 29 October 2013 15:44
0
ответов
Запрос Hadoop относительно метода setJarByClass класса Job
В документации по Hadoop API указано, что setJarByClass public void setJarByClass (Class Cls) Установите Jar, найдя, где данный класс пришел из. Что именно это ...
вопрос задан: 17 October 2013 13:51
0
ответов
Является ли hadoop единственной структурой в большом пространстве данных? [закрыто]
В настоящее время я изучаю Hadoop, но я часто задаюсь вопросом, является ли Hadoop единственной программной средой, поддерживающей распределенные приложения. Я хочу понять, существует ли какая-либо другая структура, другая ...
вопрос задан: 11 October 2013 04:44
0
ответов
Cassandra wih Hive
Am new in cassandra and Hive. Now i want integrate cassandra with the Hadoop-Hive but how can i integrate the cassandra with Hive.
вопрос задан: 7 October 2013 11:26
0
ответов
Что такое форматирование hadoop namenode?
Что именно участвует в форматировании наменоде. Если я введу следующую команду в моем терминале в папке установки hadoop: bin / hadoop namenode -format Что именно это делает ...
вопрос задан: 18 September 2013 02:22
0
ответов
Hadoop: ключ и значение разделены табуляцией в выходном файле. как это сделать через точку с запятой?
Я думаю, что заголовок уже объясняет мой вопрос. Я хотел бы изменить значение ключа (табуляции) на ключ; значение во всех выходных файлах, которые редукторы генерируют на основе вывода картографов. Я...
вопрос задан: 8 September 2013 17:39
0
ответов
Как начать разработку mahout
После установки mahout из (http://girlincomputerscience.blogspot.com/2010/11/apache-mahout.html). Как запустить алгоритм mahout и откуда я могу получить самый популярный простой учебник для махаута ...
вопрос задан: 9 August 2013 13:52
0
ответов
Grep для нескольких файлов в файловой системе Hadoop
Я работаю с Hadoop, и мне нужно найти, какие из ~100 файлов в моей файловой системе Hadoop содержат определенную строку. Я вижу файлы, которые хочу найти, вот так :bash -3.00$ hadoop fs -ls /apps/mdhi -...
вопрос задан: 1 August 2013 00:06
0
ответов
Параллельное обучение нейронной сети, лучше использовать Hadoop или графический процессор?
Мне нужно обучить нейронную сеть с 2-4 скрытыми слоями, я еще не уверен в структуре фактической сети. Я думал обучить его, используя Hadoop map reduce (кластер из 12 шт.) Или графический процессор, чтобы ...
вопрос задан: 25 July 2013 18:13
0
ответов
Передача аргументов модулям сопоставления Hadoop
Я использую новый API Hadoop и ищу способ передать некоторые параметры (несколько строк) модулям сопоставления.
Как я могу это сделать? Это решение работает для старого API: JobConf job = (JobConf) getConf ();
job.set ("...
вопрос задан: 25 July 2013 12:20
0
ответов
Как я могу получить исходные коды заданий MapReduce, сгенерированные компилятором Hive?
Я хотел бы знать, какой код генерирует компилятор SQL Hive (т.е. если я выполню одно предложение sql, я бы хотел чтобы увидеть код заданий MapReduce, сгенерированных компилятором куста SQL). Как я могу ...
вопрос задан: 10 July 2013 13:33