1
ответ
Как Hadoop выполняет входные разделения?
Это - концептуальный вопрос, включающий Hadoop/HDFS. Позволяет говорят, что у Вас есть файл, содержащий 1 миллиард строк. И ради простоты, позволяет, полагают, что каждая строка имеет форму <k, v> где...
вопрос задан: 7 January 2016 14:56
1
ответ
Hadoop скопирует каталог?
Существует ли API HDFS, который может скопировать весь локальный каталог в HDFS? Я нашел API для копирования файлов, но есть ли API для каталогов?
вопрос задан: 25 November 2015 14:28
1
ответ
Что такое безопасный режим в Hadoop? [Дубликат]
Я изучаю Hadoop, и я правильно установил кластер Hadoop узла (версия: 2.7.3) на моем Mac. Я уже загрузил несколько текстовых файлов в свой HDFS, и сегодня, когда я пытаюсь создать новый каталог ...
вопрос задан: 4 August 2015 15:37
1
ответ
Что такое пространство имен в HDFS [дубликат]
Помогите мне понять разницу между пространством имен и метаданными. Что такое содержимое, находящееся в пространстве имен и использование пространства имен
вопрос задан: 28 May 2014 23:25
1
ответ
FileInputStream для универсальной файловой системы
У меня есть файл, который содержит сериализованные объекты Java как "Вектор". Я хранил этот файл по Распределенной файловой системе Hadoop (HDFS). Теперь я намереваюсь считать этот файл (использующий метод readObject) в одном из...
вопрос задан: 15 May 2010 13:06
1
ответ
Hadoop DFS-ls возвращает список файлов в моем hadoop/dir
Я настроил sigle-узел конфигурация Hadoop, работающая через cygwin под Win7. После запуска Hadoop bybin/start-all.sh я выполняю bin/hadoop DFS-ls, который возвращает меня список файлов в моем hadoop каталоге...
вопрос задан: 6 March 2010 19:44
1
ответ
Где HDFS хранит файлы локально по умолчанию?
Я выполняю hadoop с конфигурацией по умолчанию с кластером с одним узлом и хотел бы найти, где HDFS хранит файлы локально. Какие-либо идеи? Спасибо.
вопрос задан: 1 March 2010 19:19
1
ответ
CloudStore по сравнению с HDFS
Делает у любого есть любое знакомство с работой и с CloudStore и с HDFS. Мне интересно видеть, как далеко CloudStore масштабировался и как в большой степени он использовался в производстве. CloudStore кажется...
вопрос задан: 29 September 2009 20:14
0
ответов
Sentry не может синхронизировать ALC между файлами HDFS и таблицами Hive
Sentry не может отправить полный снимок изображения из списка контроля доступа к таблице HIVE в HDFS, так что ACL HDFS и ACL таблицы кустов не синхронизируются. Я использую Clouder CDH 5.14.2, который содержит часового ...
вопрос задан: 30 June 2019 04:42
0
ответов
Проверьте зашифрованные данные RPC в движении на HDFS / YARN / Spark / Hbase
У нас есть особое требование проверять / проверять данные в движении, когда зашифрованные RPC потоки данных для всей связи с клиентом, а также внутри больших компонентов данных, таких как HBase / Phoenix / HDFS / YARN / Hive ...
вопрос задан: 27 March 2019 08:02
0
ответов
Можно ли восстановить удаленную папку с помощью -skipTrash из HDFS?
Можно ли восстановить папку, удаленную с помощью -skipTrash. Мы остановили hdfs через 5 минут после. Наш кластер находится в режиме HA, и мы не понимаем, как мы можем использовать файл fsimage для восстановления. Мы пытались использовать эти руководства и
вопрос задан: 25 March 2019 16:40
0
ответов
Hadoop - главный узел дисковой части кластера хранения внезапно. Как мне это убрать?
У меня есть 8 подчиненных узлов и 1 мастер-узел. До недавнего времени только подчиненные узлы были частью моей настройки HDFS. Однако, в последнее время, главный узел тоже появился там с диском, который намного меньше. ...
вопрос задан: 11 March 2019 13:58
0
ответов
HDP Sandbox SQOOP не удалось из-за ошибки разрешения
Ниже приведено сообщение об ошибке: Невозможно переместить источник hdfs: //sandbox-hdp.hortonworks.com: 8020 / user / maria_dev / DimDepartmentGroup / part-m-00000 в место назначения hdfs: //sandbox-hdp.hortonworks.com: 8020 / ...
вопрос задан: 5 March 2019 20:22
0
ответов
Hadoop namenode не может загрузить fsimage
У меня проблемы с запуском hdfs. Мой кластер состоит из 3 узлов на облачной платформе Google. 1 - активный наменоде. Предполагается, что узел 2 будет резервным наменодом и датододом. Узел 3 - это просто датанода. ...
вопрос задан: 5 March 2019 15:26
0
ответов
Как сравнить таблицы Hive и SQL
Мы создали планировщик, который извлекает данные с сервера sql в помещении и помещает их в HDFS. Теперь проблема в том, что нам нужно проверить, правильно ли переданы данные и соответствуют ли они ...
вопрос задан: 1 March 2019 11:37
0
ответов
Hadoop: java.io.IOException: несовместимые идентификаторы кластера в / tmp / hadoop-twagenhals / dfs / data:
Я запускаю скрипт bash на MIT Supercloud. Скрипт запрашивает ресурсы, используя SLURM. В данном случае это 2 узла, один из которых является ведущим, а другой - ведомым. Вот мой скрипт bash для настройки ...
вопрос задан: 24 February 2019 01:37
0
ответов
Как я могу разделить данные в HDFS Федерации
Позвольте мне объяснить сценарий. У меня есть два наменода. Один будет представлять маркетинговую команду, а другой - отдел продаж. Можно ли выделить место в соответствии с нашими потребностями. Могу ли я выделить 70% ...
вопрос задан: 21 February 2019 03:49
0
ответов
Mapreduce Блок-схема задания для операции записи в HDFS
Я пытаюсь выяснить диаграмму, на которой показан поток заданий MapReduce в случае операции записи (например, в hive INSERT INTO tablename select * from temptable). В Hadoop Definitive Guide ...
вопрос задан: 18 February 2019 09:46
0
ответов
HDFS как хранилище файлов Liferay
Я использую Liferay 7.1.1 GA2. В настоящее время эта версия Liferay не поддерживает HDFS в качестве хранилища документов, как описано в https: //dev.liferay.com/discover/deployment / - / Knowledge_base / 7-1 / document -...
вопрос задан: 18 January 2019 18:53
0
ответов
Трехстороннее объединение с агрегацией с использованием HIVE и HDFS
По сути, это вопрос дизайна, который у меня есть. Ищете наиболее эффективный способ выполнить это. Вот сценарий .... У нас есть три части данных. Это: DATASET 1 (HDFS) (первичный ключ: ...
вопрос задан: 18 January 2019 17:17
0
ответов
Редактор файла в HDFS или клиент для доступа к файловой системе
Есть ли что-нибудь, что я могу открыть файлы в HDFS в редакторе, таком как Sublime или Notepad ++, например, использовать клиенты, такие как filezilla или MobaXterm
вопрос задан: 17 January 2019 16:26
0
ответов
Как Spark пишет сжатый файл паркета?
Используя Apache Spark 1.6.4, с плагиномasticsearch4hadoop, я экспортирую индекс эластичного поиска (100 млн документов, 100Go, 5 осколков) в сжатый файл партера в HDFS 2.7. Я запускаю этот ETL как ...
вопрос задан: 22 December 2018 08:19
0
ответов
Как я могу быть уверен, что данные распределяются равномерно по узлы hadoop?
Если я скопирую данные из локальной системы в HDFS, Могу ли я быть уверен, что он равномерно распределен по узлам? PS HDFS гарантирует, что каждый блок будет храниться на 3 разных узлах. Но означает ли это, что ...
вопрос задан: 8 December 2018 19:17
0
ответов
Как вывести список всех файлов в каталоге и его подкаталогах в hdfs hadoop
У меня есть папка в hdfs, в которой есть две подпапки, каждая из которых имеет около 30 подпапок, каждая из которых, наконец, содержит файлы xml. Я хочу перечислить все файлы xml, указав только путь к основной папке. Локально я...
вопрос задан: 20 July 2018 13:10
0
ответов
Как я могу загрузить файл excel, который находится на hdfs в панду или искровой стол?
У меня есть набор данных excel, который загружается в hdfs, используя представления Ambari. Я мог бы найти путь к чему-то вроде: '/org/dir1/dir2/DATA/LKUP_AAL_PeakOut_By_Zip_WS.xlsx' Я работаю над ...
вопрос задан: 13 July 2018 17:37
0
ответов
Где Hive хранит файлы в HDFS?
Я хотел бы знать, как найти соответствие между таблицами Hive и фактическими файлами HDFS (или, скорее, каталогами), которые они представляют. Мне нужен прямой доступ к файлам таблиц. Где хранится Hive ...
вопрос задан: 31 May 2018 21:33
0
ответов
Различия между Amazon S3 и S3n в Hadoop
Когда я подключил свой кластер Hadoop к хранилищу Amazon и загрузил файлы в HDFS, я обнаружил, что s3: // не работает. При поиске помощи в Интернете я обнаружил, что могу использовать S3n. Когда я использовал S3n это ...
вопрос задан: 16 March 2018 08:51
0
ответов
Задание по уменьшению карты hadoop с входом HDFS и выходом HBASE
Я новичок в hadoop.
У меня есть задание MapReduce, которое должно получать входные данные из Hdfs и записывать выходные данные редуктора в Hbase. Я не нашел хорошего примера. Вот код, ошибка ...
вопрос задан: 2 December 2017 07:45
0
ответов
Как проверить размер каталога HDFS?
Я знаю du -sh в общих файловых системах Linux. Но как это сделать с HDFS?
вопрос задан: 21 August 2017 12:10
0
ответов
Управление hdfs в псевдораспределенном режиме hadoop
Я хочу выполнить некоторые вычисления с помощью hadoop и mahout на моем четырехъядерном компьютере, поэтому я использую hadoop в псевдораспределенном режиме . Проблема в том, что место на моем корневом драйвере ограничено, так как же ...
вопрос задан: 2 August 2017 17:27