0
ответов
Создание Hadoop с помощью Eclipse/Maven — Отсутствует артефакт jdk.tools:jdk.tools:jar:1.6
Я пытаюсь импортировать org.apache.hadoop:hadoop-client:2.0.0-cdh4.0.0 из Cloudera cdh4 maven repo в проекте maven в eclipse 3.81, плагин m2e, с jdk 1.7.0_05 оракула на win7 с использованием <...
вопрос задан: 24 August 2017 07:37
0
ответов
Как проверить размер каталога HDFS?
Я знаю du -sh в общих файловых системах Linux. Но как это сделать с HDFS?
вопрос задан: 21 August 2017 12:10
0
ответов
Управление hdfs в псевдораспределенном режиме hadoop
Я хочу выполнить некоторые вычисления с помощью hadoop и mahout на моем четырехъядерном компьютере, поэтому я использую hadoop в псевдораспределенном режиме . Проблема в том, что место на моем корневом драйвере ограничено, так как же ...
вопрос задан: 2 August 2017 17:27
0
ответов
как работает netezza? как это соотносится с Hadoop?
Хотите понять, является ли Netezza или Hadoop правильным выбором для следующих целей: извлекать файлы каналов из нескольких онлайн-источников значительного размера, иногда превышающего 1 ГБ.
Очистить, отфильтровать, ...
вопрос задан: 25 July 2017 06:07
0
ответов
High iowait с процессами java на linux
У меня есть параллельная система с большим количеством машин/узлов. На каждой машине запущено несколько JVM, выполняющих разные задачи. Это "слоистая" архитектура, где каждый слой состоит из множества JVM, выполняющих ...
вопрос задан: 23 July 2017 00:08
0
ответов
Каковы последствия добавление столбца в существующую таблицу HIVE?
Предположим, что через пару сотен гигабайт после начала использования HIVE я хочу добавить столбец.
Из различных статей и страниц, которые я видел, я не могу понять последствий с точки зрения места для хранения ...
вопрос задан: 29 June 2017 15:51
0
ответов
Улей не может вручную установить количество редукторов
У меня есть следующий запрос улья: выберите количество (отдельный идентификатор) как общее из mytable; который автоматически порождает:
1408 картографов
1 Редуктор Мне нужно вручную установить количество редукторов, и я попробовал ...
вопрос задан: 12 June 2017 17:20
0
ответов
Ошибка HBase - отказ от назначения -ROOT-
Я только что установил hadoop и hbase из cloudera (3), но когда я пытаюсь перейти на http: // localhost: 60010, он просто сидит там непрерывно загружается. Я могу легко добраться до регионального сервера - http: // localhost: ...
вопрос задан: 10 June 2017 08:18
0
ответов
Объединение двух таблиц в Hive с помощью HiveQL (Hadoop )[дубликат]
Возможный дубликат :SQL-запрос JOIN with Table CREATE EXTERNAL TABLE IF NOT EXISTS TestingTable1 (Это ГЛАВНАЯ таблица, по которой необходимо проводить сравнения)
(
ПОКУПАТЕЛЬ _ID БОЛЬШОЙ, ПУНКТ _ID...
вопрос задан: 23 May 2017 12:33
0
ответов
Что означает процессорное время для задания Hadoop?
Боюсь, я не понимаю временных результатов задания Map -Reduce. Например, задание, которое я выполняю, дает мне следующие результаты от средства отслеживания заданий. Завершено за :1 мин, 39 с затрачено процессорного времени...
вопрос задан: 23 May 2017 12:32
0
ответов
Восстановление в безопасном режиме Hadoop - занимает слишком много времени!
У меня есть кластер Hadoop с 18 узлами данных.
Я перезапустил узел имени более двух часов назад, но узел имени все еще находится в безопасном режиме. Я искал, почему это может занять слишком много времени, и я ...
вопрос задан: 23 May 2017 12:26
0
ответов
Hadoop Streaming: Mapper «обертывает» двоичный исполняемый файл
У меня есть конвейер, который я сейчас запускаю на большом университетском компьютерном кластере. Для целей публикации я хотел бы преобразовать его в формат mapreduce, чтобы его мог запускать кто угодно, используя ...
вопрос задан: 23 May 2017 12:22
0
ответов
Потоковая передача или настраиваемый файл Jar в Hadoop
Я выполняю задание потоковой передачи в Hadoop (на Amazon EMR) с преобразователем и редуктором, написанным на Python . Я хочу знать, какой прирост скорости я получил бы, если бы реализовал тот же преобразователь и ...
вопрос задан: 23 May 2017 12:17
0
ответов
Как разделить таблицу с помощью HIVE?
Я играю с Hive уже несколько дней, но у меня все еще есть проблемы с разделением. Я записываю журналы Apache (формат Combine) в Hadoop в течение нескольких месяцев. Они хранятся в текстовом формате строки,...
вопрос задан: 23 May 2017 12:06
0
ответов
Задание потоковой передачи Hadoop не выполнено (не выполнено) в Python
Я пытаюсь запустить задание Map-Reduce в потоковой передаче Hadoop с помощью сценариев Python и получаю те же ошибки, что и Hadoop Ошибка Streaming Job failed в python, но эти решения у меня не сработали. Мой ...
вопрос задан: 23 May 2017 12:01
0
ответов
Как Pig использует Hadoop Globs в ' load '?
Как я отмечал ранее, Pig плохо справляется с пустыми (0-байтовыми) файлами. К сожалению, существует множество способов создания этих файлов (даже в служебных программах Hadoop). Я думал, что я ...
вопрос задан: 23 May 2017 12:00
0
ответов
Ищу замену для java.util.Map
Проблема В ответ на этот вопрос похоже, что реализация карты на основе файлов или дисков может быть правильным решением проблем, о которых я упоминал там. Краткая версия: прямо сейчас у меня есть карта ...
вопрос задан: 23 May 2017 11:53
0
ответов
Использование Pig / Hive для обработки данных вместо кода сокращения прямой карты Java?
(Даже более простой, чем разница между Pig и Hive? Почему оба?) У меня есть конвейер обработки данных, написанный в нескольких задачах Java по сокращению карты через Hadoop (мой собственный код, полученный из Hadoop '...
вопрос задан: 23 May 2017 11:50
0
ответов
Выполнение запроса Pig по данным, хранящимся в Hive
Я хотел бы знать, как выполнять запросы Pig, хранящиеся в формате Hive. Я настроил Hive для хранения сжатых данных (с помощью этого руководства http://wiki.apache.org/hadoop/Hive/CompressedStorage). Перед ...
вопрос задан: 23 May 2017 11:45
0
ответов
Переопределение jar-файлов hadoop по умолчанию в пути к классам
Я видел много способов использования пути пользовательского класса в качестве прецедента пути к хаупу. Часто это делается, если для m/r-задания требуется определенная версия библиотеки, которая работает с Hadoop...
вопрос задан: 23 May 2017 10:31
0
ответов
Разница между `hadoop dfs` и` hadoop fs` [закрыто]
Я увидел команду dfs, затем пошел к документации, но я не могу понять. На мой взгляд, fs и dfs работают одинаково. Кто-нибудь дает точную разницу?
вопрос задан: 23 February 2017 21:17
0
ответов
Отказ в соединении с hbase
Я новичок в HBase и Hadoop. Я полностью настроил HBase и запустился отлично. Теперь, когда я попытался подключиться с p1 к HBase (, где установка HBase находится на p2 )с помощью клиента Java, он выдает...
вопрос задан: 29 November 2016 13:25
0
ответов
Когда в Hadoop начинаются задачи сокращения?
Когда в Hadoop начинаются задачи сокращения? Начинаются ли они после определенного процента (порога )завершенных картографов? Если да, то фиксирован ли этот порог? Какой тип порога обычно используется?
вопрос задан: 10 July 2016 14:24
0
ответов
Распределения Hadoop [закрыто]
Я новичок в Hadoop. Не могли бы вы рассказать мне, какие дистрибутивы доступны для hadoop. Я вижу стандартный apache hadoop и распределение Cloudera для hadoop (CDH). Что такое ...
вопрос задан: 6 July 2016 10:11
0
ответов
Как загрузить данные в куст из HDFS, не удаляя исходный файл?
При загрузке данных из HDFS в куст с использованием LOAD DATA INPATH 'hdfs_file' INTO TABLE tablename; , похоже, что файл hdfs_file перемещается в каталог hive / хранилища.
Можно (как?) скопировать его ...
вопрос задан: 23 June 2016 15:11
0
ответов
Ограничение количества файлов Namenode
Кто-нибудь знает, сколько байтов занимает файл в namenode Hdfs?
Я хочу оценить, сколько файлов может храниться в одном именном узле памяти объемом 32 ГБ.
вопрос задан: 13 June 2016 16:09
0
ответов
java.net.URISyntaxException при запуске HIVE
Я новичок в HIVE. Я уже настроил Hadoop, и он работает хорошо, и я хочу настроить Hive. Когда я запускаю куст, он показывает ошибку, вызванную: java.net.URISyntaxException: Относительный путь в ...
вопрос задан: 8 June 2016 11:55
0
ответов
HBase 0.92 предупреждает о привязках SLF4J
Я установил HBase 0.92 на Hadoop 1.0.0, и он отлично работает в полностью распределенном режиме, но раздражающее предупреждение продолжает появляться. Как мне от этого избавиться? ....... hbase (main): 001: 0> status SLF4J: ...
вопрос задан: 18 April 2016 20:22
0
ответов
Как узнать версии Hive и Hadoop из командной строки?
Как узнать, какую версию Hive я использую, из командной строки. Ниже приведены подробности -. Я использую Putty для подключения к таблице hive и доступа к записям в таблицах. Итак, что я сделал, так это -я открыл...
вопрос задан: 10 April 2016 19:11
0
ответов
Как я могу настроить maven плагин shade, чтобы включить тестовый код в мой jar?
Я использую плагин shade maven для сборки моего проекта, чтобы все его зависимости были включены в один jar (это упрощает его запуск в Hadoop). Кажется, что Shade по умолчанию исключает мой тестовый код, ...
вопрос задан: 18 March 2016 21:34