3
ответа
Spark2-Submit с пряжей, ClassNotFoundException [duplicate]
Я пытаюсь запустить работу spark2-submit в hdfs, за исключением того, что он продолжает предоставлять ошибку java.lang.ClassNotFoundException: ca.Main at java.net.URLClassLoader.findClass (URLClassLoader.java:381) ...
вопрос задан: 13 August 2015 08:56
2
ответа
Можно ли экспортировать параметр оболочки из сценария пряжи? [Дубликат]
Я пытаюсь экспортировать параметр оболочки $ FLAGS в сценарий предварительной сборки Yarn, а затем использовать параметр в последующем скрипте сборки. Однако $ FLAGS не отображается. Если бы это было так, я бы ...
вопрос задан: 11 September 2014 11:42
1
ответ
задание mapreduce для пряжи, завершенной с помощью exitCode: -1000 из-за изменения ресурса в файловой системе src
Приложение application_1552978163044_0016 не удалось 5 раз из-за AM-контейнера для appattempt_1552978163044_0016_000005, завершенного с exitCode: -1000 Диагностика: java.io.IOException: Resource ...
вопрос задан: 19 March 2019 08:38
1
ответ
Команда для перечисления количества картографов и редукторов в HADOOP 2.x
Существуют ли какие-либо команды hadoop / yarn для отображения количества картографических / редукторных / слотов, используемых заданием динамически
вопрос задан: 19 February 2019 13:35
1
ответ
В чем разница между YarnApplicationState и FinalStatus?
Согласно документу Yarn, YarnApplicationState - это состояние приложения, о котором сообщает ResourceManager, а FinalStatus - это окончательный статус приложения, о котором сообщает сам ApplicationMaster. ...
вопрос задан: 18 January 2019 08:57
1
ответ
Запуск счетчика слов MapReduce в Hadoop выдает сообщение об исключении: система не может найти указанный путь
это мой первый вопрос о переполнении стека. Я настроил свой кластер с одним узлом hadoop (2.9.2) в псевдораспределенном режиме. Когда я пытаюсь запустить Jadoop Jar C: /MapReduceClient.jar wordcount / input_dir / ...
вопрос задан: 16 January 2019 18:58
0
ответов
ОШИБКА сжатия Hadoop: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy () Z
Когда я запускаю Apache Kylin в Hadoop, я встретил следующую ошибку, связанную с Hadoop MapReduce: 2019-03-20 08: 06: 00,193 ОШИБКА [main] org.apache.kylin.engine.mr.KylinMapper: java.lang. ...
вопрос задан: 20 March 2019 08:51
0
ответов
Не удается подключиться к ResourceManager
Я пытаюсь настроить кластер с Hadoop (позже я буду использовать Yarn с Spark), но я получаю сообщение об ошибке; user1: masterPC: /opt/hadoop-3.1.2/etc$ jps 25777 Jps user1: masterPC: / opt / hadoop -...
вопрос задан: 11 March 2019 14:21
0
ответов
У меня проблема с репликацией Hadoop на узлах данных
Не могли бы вы мне помочь пожалуйста ? После настройки интерпретатора spark для работы в кластере пряжи и установки минимальной и максимальной памяти в yarn-site.xml при попытке прочитать файлы CSV появляется следующая ошибка: org ....
вопрос задан: 21 February 2019 10:28
0
ответов
Как получить максимальное количество слов в Hadoop?
Мне удалось запутать свою программу Word Count, и теперь я хочу получить максимальное количество случаев. Мой вывод для моего WordCount выглядит следующим образом: File1: Word1: x File1: Word2: x Where File ...
вопрос задан: 21 February 2019 04:30
0
ответов
Pyspark 2.3.2 не работает с hadoop 2.8.3 из-за netty?
Я установил Hadoop версии 2.8.3 в моей среде Windows 10 (псевдо-распределенный режим), и она работает нормально. После этого я пытаюсь установить спарк 2.3.2 поверх него. Я пишу искровую работу в pyspark. ...
вопрос задан: 16 January 2019 17:03
0
ответов
Неизвестное исключение хоста с HA пряжей
Я получаю неизвестное исключение для хоста, службы имен правильно поддерживаются в hdfs-site.xml и core-site.xml. 019-01-14 03: 46: 48,564 FATAL [main] org.apache.hadoop.mapreduce.v2.app ....
вопрос задан: 16 January 2019 14:51
0
ответов
В менеджере ресурсов кластера менеджера клаудера постоянно работает .. есть ли какое-либо решение для этого
Я пытаюсь решить проблему для менеджера ресурсов в пряже Cloudera, чтобы активно, но она часто падает
вопрос задан: 13 July 2018 05:50
0
ответов
Spark Launcher бесконечно ждет завершения работы
Я пытаюсь отправить JAR с заданием Spark в кластер YARN из кода Java. Я использую SparkLauncher для отправки примера SparkPi: Process spark = new SparkLauncher () .setAppResource ("C: \\ spark -...
вопрос задан: 12 April 2016 23:00
0
ответов
Hadoop namenode: одна точка of failure
Namenode в архитектуре Hadoop - это единственная точка отказа. Как люди, у которых есть большие кластеры Hadoop, справляются с этой проблемой? Есть ли принятое в отрасли решение, которое сработало ...
вопрос задан: 1 February 2016 13:37
0
ответов
Hadoop: не удалось подключиться к ResourceManager
После установки hadoop 2.2 и попытки запуска конвейера example ive получил следующую ошибку (та же самая ошибка появляется после попытки запустить hadoop jar hadoop-mapreduce-examples-2.2.0.jar wordcount ...
вопрос задан: 16 December 2013 09:38