0
ответов
Зачем нам нужен ZooKeeper в стеке Hadoop?
Я новичок в Hadoop/ZooKeeper. Я не могу понять цель использования ZooKeeper с Hadoop, записывает ли ZooKeeper данные в Hadoop? Если нет, то почему мы используем ZooKeeper с Hadoop?
вопрос задан: 28 July 2015 00:48
0
ответов
Просмотр количества блоков для файла в Hadoop
Как просмотреть, на сколько блоков разбит файл в файловой системе Hadoop?
вопрос задан: 15 June 2015 04:59
0
ответов
Эффективное и масштабируемое хранилище данных JSON с базами данных NoSQL
Мы работаем над проектом, который должен собирать данные журнала и аудита и хранить их в хранилище данных для целей архивирования и некоторых представлений. Мы не совсем уверены, какое хранилище данных подойдет нам. мы ...
вопрос задан: 10 June 2015 14:28
0
ответов
объединить выходные файлы после фазы сокращения
В mapreduce каждая задача сокращения записывает свой вывод в файл с именем part-r-nnnnn, где nnnnn - это идентификатор раздела, связанный с задачей сокращения. Объединяет ли map / reduce эти файлы? Если да, то как?
вопрос задан: 5 May 2015 01:55
0
ответов
Отказано в разрешении на hdfs
Я новичок в распределенной файловой системе Hadoop, я выполнил полную установку одного узла Hadoop на своем компьютере. Но после этого, когда я собираюсь загрузить данные в hdfs, он выдает сообщение об ошибке...
вопрос задан: 19 April 2015 22:19
0
ответов
Какая библиотека является наиболее зрелой для построения конвейера анализа данных на Java / Scala для Hadoop?
Недавно я обнаружил много вариантов, и их сравнение интересно в первую очередь по степени зрелости и стабильности. Crunch - https : //github.com/cloudera/crunch
Scrunch - https: //github.com/cloudera/crunch/tree / ...
вопрос задан: 26 March 2015 16:48
0
ответов
Что лучше: использовать пакет mapred или пакет mapreduce для создания задания Hadoop?
Для создания заданий MapReduce вы можете использовать либо старый пакет org.apache.hadoop.mapred, либо новый пакет org.apache.hadoop. пакет mapreduce для картографов и редукторов, заданий ... Первый был отмечен ...
вопрос задан: 22 March 2015 15:27
0
ответов
Пример кратчайших путей Giraph ClassNotFoundException
Я пытаюсь запустить пример кратчайших путей из инкубатора giraph (https://cwiki.apache.org/confluence/display/GIRAPH/Shortest+Paths+Example). Однако вместо выполнения примера из ...
вопрос задан: 11 March 2015 03:14
0
ответов
Как читать из hdfs используя spark-shell в Intel hadoop?
Я не могу читать из HDFS (дистрибутив Intel hadoop, версия Hadoop 1.0.3) из spark-shell (spark версия 1.2.1). Я собрал spark, используя команду mvn -Dhadoop.version = 1.0.3 clean package, ...
вопрос задан: 26 February 2015 11:14
0
ответов
Как куст может загружать данные из CSV?
Я хочу реализовать Apache Hive, и я хочу загрузить данные из CSV-файла в таблицу Hive. Итак, вот проблема: мой CSV-файл, сгенерированный SQL Server в своей структуре, имеет знак ", и он стал ...
вопрос задан: 26 February 2015 07:38
0
ответов
Возможно ли иметь 2 ключа и 2 значения в одном скрипте маппера?
У меня есть набор данных с полями дата, время, магазин, товар, стоимость, оплата. Я хочу узнать общие продажи / товар и наибольшую продажу / магазин. Возможно ли иметь как ключи, так и значения в одном маппере ...
вопрос задан: 25 February 2015 21:55
0
ответов
Как получить результаты редуктора hadoop в коллекции (массив, набор и т. Д.)?
Я пишу программу, которая обрабатывает результаты редуктора перед выводом некоторого результата, например, вывод обработки Mapper Reducer. Невозможно интегрировать часть обработки в редуктор ...
вопрос задан: 25 February 2015 19:11
0
ответов
Рабочий поток свиньи в Хадооп 2.2 Свинья 0,12,1 в 4.1.0
Я пытаюсь выполнить рабочий процесс свиньи. Но рабочий процесс зависает в рабочем состоянии, я проверил файл журнала, я нашел этот файл журнала от менеджера узлов: 2015-02-25 17: 50: 06,322 [JobControl] INFO ...
вопрос задан: 25 February 2015 17:29
0
ответов
Hbase или hdfs, которые будут лучше
У меня есть сценарий использования, в котором у нас есть большой объем данных, по которым необходимо выполнить аналитику. Данные будут непрерывно выбираться и анализироваться для выполнения во время выполнения. Для этого варианта использования ...
вопрос задан: 25 February 2015 14:28
0
ответов
Песочницы Hortonworks в кластере
Я новичок в экосистеме Hadoop и пытаюсь понять, как работает кластер. До сих пор я использовал дистрибутив Hortonworks для тестирования чего-либо в режиме с одним узлом. Теперь мне интересно - если это ...
вопрос задан: 25 February 2015 11:06
0
ответов
ExException в потоке «main» java.lang.IllegalArgumentException: / home не может быть каталогом
Привет, я бегу упражнение на подсчет слов в Spark Java. Когда я выполняю в hdfs, я получаю подобное исключение в потоке "main" java.lang.IllegalArgumentException: / home / karun не может быть каталогом. в ...
вопрос задан: 25 February 2015 04:46
0
ответов
Ошибка компиляции HIPI: файл класса для com.sun.image.codec.jpeg.JPEGDecodeParam не найден
Я компилировал HIPI-фреймворк, используя ant на Hadoop 2.6.0 в Ubuntu 14.04, и получил эту ошибку: Buildfile: /home/jinjunho/hipi/src/build.xml setup: test_settings: all: [javac] Компиляция 23 исходников ...
вопрос задан: 25 February 2015 04:09
0
ответов
PigUnit с Hadoop 2.x
Я пытаюсь использовать PigUnit с Hadoop 2.4.1. У меня есть очень простой сценарий Pig, который я хочу выполнить внутри PigTest, но когда я запускаю этот тест, я получаю следующее исключение: java.lang ....
вопрос задан: 25 February 2015 03:41
0
ответов
Hadoop настройка многоузлового кластера на двух машинах с разными именами
Я следовал руководству на michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/, чтобы настроить мой многоузловой кластер hadoop. единственная разница в том, что мое имя пользователя на одном ...
вопрос задан: 22 February 2015 13:22
0
ответов
анализ безработицы через социальные сети
анализ безработицы через социальные медиа в концепции больших данных. В моем приложении мне нужно получить информацию о человеке из Facebook. Как и статус конкретного человека и его степень, учеба ...
вопрос задан: 16 February 2015 09:27
0
ответов
нет ошибки namenode в псевдорежиме
Я новичок в hadoop и нахожусь в стадии обучения.
Согласно руководству Hadoop Definitve, я настроил свой hadoop в псевдораспределенном режиме, и все работало нормально. Я даже смог выполнить все ...
вопрос задан: 8 February 2015 19:43
0
ответов
Как отлаживать задания Hadoop mapreduce из eclipse?
Я запускаю hadoop на одной-машине, только локальная-настройка, и я ищу хороший, безболезненный способ отладки картографов и редукторов в eclipse. Eclipse без проблем запускает задачи mapreduce. Однако,...
вопрос задан: 8 December 2014 15:19
0
ответов
невозможно проверить узлы в Hadoop [Отказано в соединении]
Если я наберу http://localhost:50070 или http://localhost:9000, чтобы увидеть узлы, мой браузер мне ничего не показывает, я думаю, что он не может подключиться к серверу.
Я протестировал свой hadoop с помощью этой команды: hadoop jar ...
вопрос задан: 16 November 2014 15:45
0
ответов
Найти номер порта, где HDFS слушает
Я хочу получить доступ к hdfs с полностью определенными именами, такими как: hadoop fs -ls hdfs: // machine-name: 8020 / user. Я также могу просто получить доступ к hdfs с помощью hadoop fs -ls / user. Однако я пишу тестовые примеры ...
вопрос задан: 6 October 2014 13:05
0
ответов
Hadoop mapreduce: Драйвер для объединения картографов в задание MapReduce
У меня есть задание mapreduce:
мой код Класс карты: общедоступный статический класс MapClass расширяет Mapper {@Override public void map (текстовый ключ, текстовое значение, контекст контекста) ...
вопрос задан: 11 August 2014 10:15
0
ответов
Размер блока для каждого файла в Hadoop
В книге Hadoop сказано, что мы можем указать размер блока для каждого файла во время создания файла. «Самый естественный способ увеличить размер разделения - это иметь большие блоки в HDFS, установив dfs ....
вопрос задан: 10 August 2014 09:43
0
ответов
Странный Джексон Нелегальный персонаж ((CTRL-CHAR, код 0)) Исключение в Map Reduce Combiner
У меня есть задание Map-Reduce с картографом, который берет запись и преобразует ее в объект, экземпляр MyObject, который маршалируется в JSON с помощью Jackson. Значение - это просто другое текстовое поле в ...
вопрос задан: 18 July 2014 20:00
0
ответов
Hadoop, как сжимать вывод mapper, но не вывод reducer
У меня есть Java-программа map-reduce, в которой я пытаюсь сжимать только вывод mapper, но не вывод reducer. Я думал, что это будет возможно, установив следующие свойства в ...
вопрос задан: 11 July 2014 11:04
0
ответов
Mahout: Чтобы прочитать пользовательский входной файл
, я играл с Mahout и обнаружил, что FileDataModel принимает данные в формате userId, itemId, pref (long, long, Double). У меня есть данные в формате String, long, double ...
вопрос задан: 10 July 2014 10:49
0
ответов
Почему при выполнении команды hadoop (или команды dfs)
продолжает отображаться устаревшая ошибка Я установил hadoop -2.0.0 -alpha, но всякий раз, когда я выполняю команду, она выдает мне устаревшие ошибки (, хотя кажется, что она работает без проблем )$ hadoop/bin/hadoop dfs -copyFromLocal ввод...
вопрос задан: 24 June 2014 13:19