0
ответов
Как я могу решить среднюю проблему в mapreduce?
Я выучил Mapreduce. И я не знаю, как понять среднюю проблему Mapreduce. Сценарий 1: я хочу в среднем от 1 до 10 по Mapreduce. Итак, я разделил три карты ниже. А. карта 1: 1, 2, 3 / средняя: ...
вопрос задан: 14 April 2019 11:54
0
ответов
Нужно руководство по переписыванию этого запроса
Текущий сценарий => У нас есть запрос, который мы выполняем на нашем кластере продуктов. этот запрос выбирает только 3 поля из объединения между 1 таблицей и (вложенным способом объединения) другой огромной таблицы, а затем ...
вопрос задан: 1 April 2019 06:09
0
ответов
Как исправить ошибку: & ldquo; java.net.URISyntaxE xception: Относительный путь в абсолютном URI & rdquo; при создании таблицы улья
Я собираюсь создать внешнюю таблицу в Hive, используя приведенный ниже код: CREATE EXTERNAL TABLE product (productID int, строка кода, строка имени, количество int, плавающая цена) STORED AS orc LOCATION "пользователь / ...
вопрос задан: 29 March 2019 02:42
0
ответов
Как UDFMethodResolver работает в классе Hive UDF?
Я новичок в Улей. Я узнал, что пользовательская функция может быть создана с любой сигнатурой метода методаvalu (). (За исключением типа возврата void). Мне любопытно узнать, как UDFMethodResolver разрешает ...
вопрос задан: 28 March 2019 06:02
0
ответов
FSShell NullPointerException при выводе списка групповых файлов gcp
Я пытался извлечь список файлов из gcp-корзины, используя hadoop fs -ls gs: // bucket-name Но я получаю следующую ошибку, Исключение в потоке "main" java.lang.NullPointerException в org.apache.hadoop ... ,
вопрос задан: 27 March 2019 09:44
0
ответов
что является альтернативой для TableReduce.initjob в новых API Hadoop и HBase
Мы столкнулись с некоторыми проблемами в нашей программе из-за новых API-интерфейсов hadoop и hbase Наша программа предназначена для работы со старыми версиями. Основная проблема связана с TableReduce.initjob (// параметры //), ...
вопрос задан: 25 March 2019 04:58
0
ответов
Есть ли способ доступа к данным в ключе, кортеж данных в Happybase Table.Scan ()
Я использую happybase для сканирования базы данных, которую я создал в Hbase, но я не уверен, как еще больше разделить данные, не просто переместив их в совершенно другую структуру данных. Это пример ...
вопрос задан: 24 March 2019 04:21
0
ответов
ОШИБКА сжатия Hadoop: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy () Z
Когда я запускаю Apache Kylin в Hadoop, я встретил следующую ошибку, связанную с Hadoop MapReduce: 2019-03-20 08: 06: 00,193 ОШИБКА [main] org.apache.kylin.engine.mr.KylinMapper: java.lang. ...
вопрос задан: 20 March 2019 08:51
0
ответов
Не удается запустить Hadoop Namenode - синтаксическая ошибка
После того, как я установил Hadoop-2.8.0, запустите команду «start-all.cmd», Datanode, Nodemanager и Resourcemanager запустятся хорошо. Тем не менее, namenode не может начать с приведенной ниже ошибки: ОШИБКА common.Util: ...
вопрос задан: 18 March 2019 17:40
0
ответов
Не удается подключиться к ResourceManager
Я пытаюсь настроить кластер с Hadoop (позже я буду использовать Yarn с Spark), но я получаю сообщение об ошибке; user1: masterPC: /opt/hadoop-3.1.2/etc$ jps 25777 Jps user1: masterPC: / opt / hadoop -...
вопрос задан: 11 March 2019 14:21
0
ответов
Hadoop - главный узел дисковой части кластера хранения внезапно. Как мне это убрать?
У меня есть 8 подчиненных узлов и 1 мастер-узел. До недавнего времени только подчиненные узлы были частью моей настройки HDFS. Однако, в последнее время, главный узел тоже появился там с диском, который намного меньше. ...
вопрос задан: 11 March 2019 13:58
0
ответов
Spark job - пропущенные разделы после успешного завершения
Мое задание Spark считывает данные из хранилища объектов swift, обрабатывает их и записывает обработанные данные в папку назначения в swift. Но после успешного завершения моей искровой работы, где он обработал 33000 ...
вопрос задан: 10 March 2019 03:12
0
ответов
Искра: Задача не удалось при записи строк
Я читаю файлы паркета и сохраняю обработанные результаты в текстовый файл. Некоторые из моих искровых задач завершаются с ошибкой ниже 19/03/07 19:46:41 ПРЕДУПРЕЖДЕНИЕ TaskSetManager: Потерянная задача 13345.0 на этапе 2.0 (TID ...
вопрос задан: 7 March 2019 21:51
0
ответов
HDP Sandbox SQOOP не удалось из-за ошибки разрешения
Ниже приведено сообщение об ошибке: Невозможно переместить источник hdfs: //sandbox-hdp.hortonworks.com: 8020 / user / maria_dev / DimDepartmentGroup / part-m-00000 в место назначения hdfs: //sandbox-hdp.hortonworks.com: 8020 / ...
вопрос задан: 5 March 2019 20:22
0
ответов
Будет ли полезно планирование по умолчанию на основе локальности, если оно используется для планирования сокращения задач?
По умолчанию локальное планирование в первую очередь предназначено для задач карты. Было бы полезно, если бы он использовался для планирования сокращения задач?
вопрос задан: 5 March 2019 17:10
0
ответов
Hadoop namenode не может загрузить fsimage
У меня проблемы с запуском hdfs. Мой кластер состоит из 3 узлов на облачной платформе Google. 1 - активный наменоде. Предполагается, что узел 2 будет резервным наменодом и датододом. Узел 3 - это просто датанода. ...
вопрос задан: 5 March 2019 15:26
0
ответов
Изменить размер разделения файла в Hadoop
У меня есть куча небольших файлов в каталоге HDFS. Хотя объем файлов относительно невелик, количество времени обработки каждого файла огромно. То есть 64-мегабайтный файл, который используется по умолчанию...
вопрос задан: 25 February 2019 12:22
0
ответов
Hadoop: java.io.IOException: несовместимые идентификаторы кластера в / tmp / hadoop-twagenhals / dfs / data:
Я запускаю скрипт bash на MIT Supercloud. Скрипт запрашивает ресурсы, используя SLURM. В данном случае это 2 узла, один из которых является ведущим, а другой - ведомым. Вот мой скрипт bash для настройки ...
вопрос задан: 24 February 2019 01:37
0
ответов
Hadoop: start-all.sh не запускает службы Hadoop
Сервис Hadoop работал без сбоев. Но внезапно "start-all.sh" начал терпеть неудачу со следующим сообщением об ошибке. ВНИМАНИЕ: Попытка запустить все демоны Apache Hadoop как вишнуды за 10 ...
вопрос задан: 23 February 2019 13:11
0
ответов
У меня проблема с репликацией Hadoop на узлах данных
Не могли бы вы мне помочь пожалуйста ? После настройки интерпретатора spark для работы в кластере пряжи и установки минимальной и максимальной памяти в yarn-site.xml при попытке прочитать файлы CSV появляется следующая ошибка: org ....
вопрос задан: 21 February 2019 10:28
0
ответов
Как получить максимальное количество слов в Hadoop?
Мне удалось запутать свою программу Word Count, и теперь я хочу получить максимальное количество случаев. Мой вывод для моего WordCount выглядит следующим образом: File1: Word1: x File1: Word2: x Where File ...
вопрос задан: 21 February 2019 04:30
0
ответов
Mapreduce Блок-схема задания для операции записи в HDFS
Я пытаюсь выяснить диаграмму, на которой показан поток заданий MapReduce в случае операции записи (например, в hive INSERT INTO tablename select * from temptable). В Hadoop Definitive Guide ...
вопрос задан: 18 February 2019 09:46
0
ответов
Трехстороннее объединение с агрегацией с использованием HIVE и HDFS
По сути, это вопрос дизайна, который у меня есть. Ищете наиболее эффективный способ выполнить это. Вот сценарий .... У нас есть три части данных. Это: DATASET 1 (HDFS) (первичный ключ: ...
вопрос задан: 18 January 2019 17:17
0
ответов
Импала дата / время функция для дат, хранящихся в виде строки
Даты хранятся в виде строки в таблице, и мы ищем запрос с использованием Hue / Impala для данных за промежуточные даты, однако он работает неправильно. Какой формат я должен исправить? выберите дату ...
вопрос задан: 18 January 2019 16:12
0
ответов
Как удалить / разделить файлы, в которых объединены несколько файлов avro (набор схем и записей)?
У меня есть файл, в котором есть несколько авросов Есть ли какой-нибудь пакет в java, который можно использовать для разделения и чтения файлов avro? Файл имеет следующий формат: схема1 запись1 схема2 запись2 схема3 ...
вопрос задан: 18 January 2019 15:24
0
ответов
Как можно выполнить задание Hadoop MapReduce из Java-программы?
Я пытаюсь интегрировать Hadoop MapReduce Job как часть программного клиента-клиента Hadoop Job Dispatching (GUI), который я разрабатываю как личный проект. Теперь у меня есть два файла: первый - клиент, ...
вопрос задан: 17 January 2019 03:59
0
ответов
Последовательный LSTM на свече
У меня есть последовательный lstm keras, который отлично работает на краевом узле кластера hadoop, но мне нужно распределить его для вычисления на подчиненных узлах. Теперь я знаю, что Elepha существует, и это было бы здорово ...
вопрос задан: 16 January 2019 23:08
0
ответов
Установка Ambari с остальными экосистемами hadoop
Я новичок в Hadoop и во всех смежных темах. у меня есть кластер из 3 узлов (1 ведущий и 2 ведомых), на которых запущен hadoop в Ubuntu. Мой вопрос, что я должен установить сначала, Ambari, затем hadoop, а остальные ...
вопрос задан: 16 January 2019 19:16
0
ответов
Pyspark 2.3.2 не работает с hadoop 2.8.3 из-за netty?
Я установил Hadoop версии 2.8.3 в моей среде Windows 10 (псевдо-распределенный режим), и она работает нормально. После этого я пытаюсь установить спарк 2.3.2 поверх него. Я пишу искровую работу в pyspark. ...
вопрос задан: 16 January 2019 17:03
0
ответов
Откройте файл в MapReduce Mapper
Я работаю над проектом MapReduce, и мне нужна помощь. В моем классе mapper я должен открыть текстовый файл и работать с ним. Этот файл не является вводом карт, но это файл, который я должен использовать для ...
вопрос задан: 16 January 2019 16:11