0
ответов
Удаленный доступ к namenode не разрешен, несмотря на то, что службы уже запущены.
I успешно установил и запустил Hadoop на одном компьютере с IP-адресом 192.168.1.109 (на самом деле это экземпляр Ubuntu, работающий на виртуальном компьютере). При вводе jps отображается 2473 DataNode ...
вопрос задан: 1 January 2012 15:10
0
ответов
Как получить большой объем данных?
Я провожу небольшое тестирование с помощью nutch и hadoop, и мне нужен большой объем данных.
Я хочу начать с 20 ГБ, перейти к 100 ГБ, 500 ГБ и в конечном итоге достичь 1-2 ТБ. Проблема в том, что у меня этого нет ...
вопрос задан: 31 December 2011 20:40
0
ответов
распределенная система планирования для сценариев R
Я хотел бы запланировать и распределить на нескольких машинах - Windows или Ubuntu - (одна задача выполняется только на одной машине) выполнение сценариев R (например, с использованием RServe) . Я не хочу изобретать заново ...
вопрос задан: 30 December 2011 03:04
0
ответов
Импорт данных из HDFS в HBase (cdh3u2)
Я установил hadoop и hbase cdh3u2. В hadoop у меня есть файл по пути /home/file.txt. у него есть данные как один, 1
два, 2
three, 3 Я хочу импортировать этот файл в hbase. в этом, первое поле ...
вопрос задан: 27 December 2011 14:20
0
ответов
как настроить mapred.reduce.parallel.copies?
После прочтения http://gbif.blogspot.com/2011/01/setting-up-hadoop-cluster-part-1-manual.html мы хотим поэкспериментировать с mapred.reduce.parallel.copies. В блоге упоминается «очень внимательно смотрю на ...
вопрос задан: 27 December 2011 08:43
0
ответов
Как я могу определить, является ли мой параметр конфигурации hadoop io.sort.factor слишком маленьким или слишком большим?
После прочтения http://gbif.blogspot.com/2011 /01/setting-up-hadoop-cluster-part-1-manual.html мы пришли к выводу, что наш 6-узловой кластер hadoop может нуждаться в некоторой настройке, и io.sort.factor кажется ...
вопрос задан: 27 December 2011 08:31
0
ответов
Класс Hadoop JobConf устарел, требуется обновить пример
Я пишу программы hadoop, и я действительно не хочу играть с устаревшими классами.
Нигде в Интернете я не могу найти программы с обновленным классом org.apache.hadoop.conf.Configuration ...
вопрос задан: 22 December 2011 12:21
0
ответов
Почему моя команда потоковой передачи не работает для базовой программы MapReduce?
Я пытался запустить программу потоковой передачи Ruby Hadoop, которая приведена в «Полном руководстве по Ruby». Я использовал эту команду: hadoop jar /usr/lib/hadoop-0.20/contrib/streaming/hadoop-streaming-0 ....
вопрос задан: 18 December 2011 08:20
0
ответов
Неверный класс ключа: текст не является IntWritable
Это может показаться глупым вопросом, но я не вижу проблемы в своем типы в моем коде mapreduce для hadoop Как указано в вопросе, проблема в том, что он ожидает IntWritable, но я ...
вопрос задан: 16 December 2011 06:12
0
ответов
Расположение вывода неагрегированных предупреждений Pig?
Pig: 0.8.1-cdh3u2
Hadoop: 0.20.2-cdh3u0 Отладка предупреждений FIELD_DISCARDED_TYPE_CONVERSION_FAILED, но я не могу нигде распечатать отдельные предупреждения. Отключение агрегирования с помощью -w или ...
вопрос задан: 14 December 2011 20:02
0
ответов
Ошибки при запуске hadoop
haduser @ user-laptop: / usr / local / hadoop $ bin / hadoop dfs -copyFromLocal / tmp / input / user / haduser / input 12.11.14 14:21:00 ИНФОРМАЦИЯ ipc.Client: повторная попытка подключения к серверу: localhost / 127.0.0.1: 54310. Уже ...
вопрос задан: 14 December 2011 09:13
0
ответов
Передача параметров в функцию map в Hadoop
Я новичок в Hadoop. Я хочу получить доступ к аргументу командной строки из главной функции (Java-программы) внутри функции map класса mapper. Пожалуйста, подскажите, как это можно сделать.
вопрос задан: 10 December 2011 14:29
0
ответов
В кластере hadoop, hive должен быть установлен на всех узлах?
Я новичок в Hadoop / Hive и только начал читать документацию. Есть много блогов об установке Hadoop в кластерном режиме. Также я знаю, что Hive работает поверх Hadoop. Мой вопрос: ...
вопрос задан: 10 December 2011 11:23
0
ответов
Распределенное чтение HDFS без Map / Reduce
Можно ли добиться распределенного чтения из кластера HDSF с помощью клиента HDFS на одной машине? Я провел эксперимент с кластером, состоящим из 3 узлов данных (DN1, DN2, DN3). Затем я запускаю ...
вопрос задан: 10 December 2011 05:00
0
ответов
Модульное тестирование JUnit и Clojure
Я создаю библиотеку, которая включает в себя как Clojure, так и Java-код, и хотел бы иметь возможность запускать один тестовый набор JUnit для всей базы кода. . Кажется, это должно быть возможно, поскольку они ...
вопрос задан: 9 December 2011 18:50
0
ответов
Hadoop fs ищет размер блока?
Как в Hadoop fs найти размер блока для конкретного файла? Меня в первую очередь интересовала командная строка, что-то вроде: hadoop fs ... hdfs: //fs1.data / ... Но похоже, что это не так ...
вопрос задан: 7 December 2011 06:17
0
ответов
Управляемое разделение SequenceFile - Hadoop
Hadoop записывает в SequenceFile в формате пары ключ-значение (записи). Предположим, у нас есть большой неограниченный файл журнала. Hadoop разделит файл по размеру блока и сохранит его на нескольких узлах данных. ...
вопрос задан: 6 December 2011 19:32
0
ответов
Полное использование всех ядер в псевдораспределенном режиме Hadoop
Я выполняю задачу в псевдораспределенном режиме на своем 4-ядерном ноутбуке. Как я могу убедиться, что все ядра используются эффективно. В настоящее время мой счетчик вакансий показывает, что одновременно выполняется только одно задание. Есть ли ...
вопрос задан: 2 December 2011 14:04
0
ответов
Как остановить конкретное задание при выполнении запросов Hive на Hadoop?
Сценарий: Когда я ввожу запрос в Hive CLI, я получаю следующие ошибки: Query: **$ bin/hive -e "insert overwrite table pokes select a.* from invites a where a.ds='2008-08-15'; "** Ошибка ...
вопрос задан: 2 December 2011 04:59
0
ответов
Hadoop: Как выполнить модульное тестирование FileSystem
Я хочу запустить модульное тестирование, но мне нужен экземпляр org.apache.hadoop.fs.FileSystem. Есть ли какие-либо макеты или другие решения для создания файловой системы?
вопрос задан: 29 November 2011 23:01
0
ответов
Исключение подключения HBase
Я пытаюсь запустить HBase в псевдо-распределенном режиме. Но это не работает после того, как я установил hbase-site.xml. Каждый раз, когда я пытаюсь запустить команду в оболочке hbase, я получаю следующую ошибку: ОШИБКА: org.apache.hadoop ....
вопрос задан: 27 November 2011 07:50
0
ответов
Почему базы данных, ориентированные на столбцы, такие как Vertica/InfoBright/GreenPlum суетятся вокруг Hadoop?
Какой смысл кормить кластер Hadoop и использовать этот кластер для подачи данных в хранилище данных Vertica/InfoBright? Все эти вендоры постоянно говорят "мы можем соединиться с Hadoop", но я не ...
вопрос задан: 25 November 2011 10:48
0
ответов
Как читать последовательный файл hadoop?
У меня есть последовательный файл, который является выходом задания сокращения карты hadoop.
В этом файле записываются данные в парах ключ-значение, а само значение представляет собой карту.
Я хочу прочитать значение как объект MAP, чтобы я ...
вопрос задан: 25 November 2011 05:54
0
ответов
как читать файл из HDFS через браузер
Как предоставить ссылку на файл HDFS, чтобы при нажатии на этот URL-адрес загружался файл HDFS. Пожалуйста, предоставьте мне исходные данные .. Спасибо {{1} } MRK
вопрос задан: 21 November 2011 09:22
0
ответов
Как получить размер файла
Я выполняю задание hadoop, у меня есть объект FileSystem и объект Path, и я хочу знать, каков размер файла (Path). есть идеи?
вопрос задан: 17 November 2011 16:27
0
ответов
Определение пределов памяти с помощью hadoop
Я пытаюсь запустить задание с высокой памятью в кластере Hadoop (0.20.203). Я изменил mapred-site.xml, чтобы установить некоторые ограничения памяти. mapred.cluster.max.map.memory.mb & ...
вопрос задан: 16 November 2011 18:18
0
ответов
Hadoop читает несколько строк за раз
У меня есть файл, в котором набор из каждых четырех строк представляет запись. например, первые четыре строки представляют запись 1, следующие четыре - запись 2 и т. д. Как я могу убедиться, что Mapper вводит эти четыре строки ...
вопрос задан: 15 November 2011 17:21
0
ответов
использование PIG для загрузки файла
Я новичок в PIG, и у меня возникла то, что кажется очень простой проблемой. У меня есть строка кода, которая гласит: A = load 'Sites / trial_clustering / shortdocs / *' AS (word1: chararray, word2: chararray, ...
вопрос задан: 12 November 2011 01:58
0
ответов
Как выполнить внешнее объединение двух столбцов в Pig Latin
Я выполняю внешние объединения для отдельных столбцов в Pig, как этот результат = СОЕДИНЕНИЕ A по идентификатору LEFT OUTER, B по идентификатору; Как мне объединить два столбца, например - WHERE A.id = B.id И A.name = B.name Что такое свинья ...
вопрос задан: 9 November 2011 04:14
0
ответов
Различные способы настройки памяти для дочернего процесса TaskTracker (Mapper и Reduce Tasks)
В чем разница между установкой mapred.job.map.memory.mb и mapred.child.java.opts с использованием -Xmx для управления максимальным объемом памяти, используемым задачами Mapper и Reduce? Какой из них имеет приоритет?
вопрос задан: 6 November 2011 14:49