Простой regex вопрос. У меня есть строка на следующем формате: это - [демонстрационная] строка с [немного] специальные слова. [другой], Что регулярное выражение состоит в том, чтобы извлечь слова в...
Я установил Spark 2.1 с Cloudera. Когда я запускаю искровую оболочку из / usr / bin / spark2-shell, она запускается (с scala). Когда я запускаю Pyspark, я получаю эту проблему sudo -u hdfs ./pyspark2. Я получаю: ...
У меня есть простой Scala-код Spark, который я пытаюсь запустить на spark2 в Cloudera [5.15.0], работающем на AWS EC2. Я создал этот проект в [Scala IDE] на компьютере Mac. 1 [] 2 Я использую чистый пакет ...
Я подключаюсь к Hive Metastore с аутентификацией Kerberos. Я попробовал несколько конфигураций, и мое текущее исключение - это. java.lang.IllegalArgumentException: java.net.UnknownHostException: & ...
Я очень неопытный Аутентификация Cloudera Manager 6. Я хотел бы настроить аутентификацию Cloudera manager 6 с Active Directory, выполнив следующие действия, но она не работает. https: // ...
Я пытаюсь импортировать org.apache.hadoop:hadoop-client:2.0.0-cdh4.0.0 из Cloudera cdh4 maven repo в проекте maven в eclipse 3.81, плагин m2e, с jdk 1.7.0_05 оракула на win7 с использованием <...
Я только что установил hadoop и hbase из cloudera (3), но когда я пытаюсь перейти на http: // localhost: 60010, он просто сидит там непрерывно загружается. Я могу легко добраться до регионального сервера - http: // localhost: ...
Я создал пакет и csd, которые идут вместе и отлично работают при развертывании в кластер. Однако, когда я останавливаю службу, дочерний процесс, запускаемый сценарием запуска, продолжает работать в ...
Я хочу получить доступ к hdfs с полностью определенными именами, такими как: hadoop fs -ls hdfs: // machine-name: 8020 / user. Я также могу просто получить доступ к hdfs с помощью hadoop fs -ls / user. Однако я пишу тестовые примеры ...
Я потерялся в :Hadoop, Hbase, Lucene, Carrot2, Cloudera, Tika, ZooKeeper, Solr, Katta, Cascading, POI... Когда вы читаете об одном, вы часто можете быть уверены, что каждый из других инструментов будет...
Я пытаюсь выяснить, где сохраняется вывод задачи Map на диск, прежде чем он может быть использован задачей Reduce. Примечание: - используется версия Hadoop 0.20.204 с новым API Например, когда ...
Я немного застрял при восстановлении неисправной таблицы (на Hbase 0.92.1-cdh4.0.0, Hadoop 2.0.0 -cdh4.0.0) Существует незаконченный переходный регион: Состояние региона
bf2025f4bc154914b5942af4e72ea063 ...
У меня есть программа "только карта" (без фазы сокращения ). Размер входного файла достаточно велик для создания 7 картографических задач, и я убедился, что, просмотрев выходные данные, мы получили от (часть -000 до части 006 ). Итак, мой...
Я запускаю HBase в псевдораспределенном режиме на своей рабочей станции. У нас также есть HBase, работающий в кластере. Используя оболочку HBase, я хочу получить доступ к экземпляру HBase, работающему в кластере...
У меня есть простая задача Hadoop, которая сканирует веб-сайты и кэширует их в HDFS. Mapper проверяет, существует ли уже URL-адрес в HDFS, и если да, использует его, в противном случае загружает страницу и сохраняет ее в ...
Я выполнил процедуру установки отсюда, и когда я дойду до этапа Inspect Role Assignments, я вижу только один управляемый хост: localhost.localdomain. Любые последующие попытки добавить другие хосты ...
Кто-нибудь пробовал это? Google показывает полную пустоту, и до сих пор это был трудный процесс (я новичок в создании, муравей и т. Д.). После скачивания множества зависимостей, некоторые откровенно неразумные ...
Я пытаюсь запустить тесты Terasort и получаю следующее исключение: java.lang.RuntimeException: ошибка при настройке объекта в org.apache.hadoop.util.ReflectionUtils .setJobConf (...
Я установил hadoop и hbase cdh3u2. В hadoop у меня есть файл по пути /home/file.txt. у него есть данные как один, 1
два, 2
three, 3 Я хочу импортировать этот файл в hbase. в этом, первое поле ...
Я пишу программы hadoop, и я действительно не хочу играть с устаревшими классами.
Нигде в Интернете я не могу найти программы с обновленным классом org.apache.hadoop.conf.Configuration ...
Я пытался запустить программу потоковой передачи Ruby Hadoop, которая приведена в «Полном руководстве по Ruby». Я использовал эту команду: hadoop jar /usr/lib/hadoop-0.20/contrib/streaming/hadoop-streaming-0 ....
В документации Cloudera говорится, что Hadoop не поддерживает шифрование на диске. Можно ли использовать в Hadoop жесткие диски с аппаратным шифрованием?
Я просто пытался подключиться к HBase, которая является частью Cloudera-VM с использованием клиента Java. (192.168.56.102 - IP-IP IP VM) Я использую виртуальную коробку с помощью сетевого параметра. Так что я могу получить доступ к ...
Я пытаюсь написать некоторые данные в HBASE с помощью клиентской программы HBASE @ Hadoop Runs в предварительном обороте VM от Cloudera @ Ubuntu. Клиент работает на системе, размещающей виртуальную машину и бегущий клиент напрямую ...
У меня возникла странная проблема. Когда я запускаю свое задание Hadoop с большим набором данных (> 1 ТБ сжатых текстовых файлов), некоторые из задач сокращения завершаются сбоем с такими трассировками стека: java.io.IOException: Task: ...