0
ответов
чтение файла в hdfs из pyspark
Я пытаюсь прочитать файл в моих hdfs. Вот демонстрация моей файловой структуры hadoop. hduser @ GVM: / usr / local / spark / bin $ hadoop fs -ls -R / drwxr-xr-x - супергруппа hduser 0 2016-03-06 17:28 / ...
вопрос задан: 7 March 2016 03:22
0
ответов
Преимущества файла Sequence по сравнению с текстовым файлом hdfs
В чем преимущество файла последовательности Hadoop по сравнению с плоским файлом HDFS (Text )? Каким образом файл последовательности эффективен? Небольшие файлы можно объединять и записывать в файл последовательности, но то же самое можно...
вопрос задан: 29 February 2016 21:40
0
ответов
Формат хранения в HDFS
Как HDFS хранит данные? Я хочу хранить огромные файлы в сжатом виде. Например: у меня есть файл размером 1,5 ГБ с коэффициентом репликации по умолчанию 3. Для этого требуется (1,5) * 3 = 4,5 ГБ места. Я ...
вопрос задан: 16 February 2016 16:48
0
ответов
Hadoop namenode: одна точка of failure
Namenode в архитектуре Hadoop - это единственная точка отказа. Как люди, у которых есть большие кластеры Hadoop, справляются с этой проблемой? Есть ли принятое в отрасли решение, которое сработало ...
вопрос задан: 1 February 2016 13:37
0
ответов
Sharding vs DFS
Насколько я понимаю, сегментирование (например, в MongoDB) и распределенные файловые системы (например, HDFS в HBase или HyperTable) - это разные механизмы, которые базы данных используют для горизонтального масштабирования, однако мне интересно, как он
вопрос задан: 18 January 2016 01:48
0
ответов
Узлы данных не запущены
Я пытаюсь настроить версию Hadoop 0.20.203.0 в псевдораспределенной конфигурации, используя следующее руководство:http://www.javacodegeeks.com/2012/01/hadoop-modes-explained-standalone.htmlПосле...
вопрос задан: 27 December 2015 09:49
0
ответов
Namenode не запускается
Я использовал Hadoop в псевдораспределенном режиме и все такое. работал нормально. Но потом мне по какой-то причине пришлось перезагрузить компьютер. И теперь, когда я пытаюсь запустить Namenode и Datanode, я ...
вопрос задан: 10 November 2015 06:41
0
ответов
Порт Namenode HDFS по умолчанию - 50070. Но я сталкивался в некоторых местах 8020 или 9000
Когда я настраиваю кластер hadoop, я читаю, что namenode работает на 50070, и я настраиваюсь соответственно, и он работает нормально. Но в некоторых книгах я встречал адрес узла имени: hdfs: // localhost: 9000 / ...
вопрос задан: 18 October 2015 09:26
0
ответов
Просмотр количества блоков для файла в Hadoop
Как просмотреть, на сколько блоков разбит файл в файловой системе Hadoop?
вопрос задан: 15 June 2015 04:59
0
ответов
Отказано в разрешении на hdfs
Я новичок в распределенной файловой системе Hadoop, я выполнил полную установку одного узла Hadoop на своем компьютере. Но после этого, когда я собираюсь загрузить данные в hdfs, он выдает сообщение об ошибке...
вопрос задан: 19 April 2015 22:19
0
ответов
Найти номер порта, где HDFS слушает
Я хочу получить доступ к hdfs с полностью определенными именами, такими как: hadoop fs -ls hdfs: // machine-name: 8020 / user. Я также могу просто получить доступ к hdfs с помощью hadoop fs -ls / user. Однако я пишу тестовые примеры ...
вопрос задан: 6 October 2014 13:05
0
ответов
Hadoop, как сжимать вывод mapper, но не вывод reducer
У меня есть Java-программа map-reduce, в которой я пытаюсь сжимать только вывод mapper, но не вывод reducer. Я думал, что это будет возможно, установив следующие свойства в ...
вопрос задан: 11 July 2014 11:04
0
ответов
Почему при выполнении команды hadoop (или команды dfs)
продолжает отображаться устаревшая ошибка Я установил hadoop -2.0.0 -alpha, но всякий раз, когда я выполняю команду, она выдает мне устаревшие ошибки (, хотя кажется, что она работает без проблем )$ hadoop/bin/hadoop dfs -copyFromLocal ввод...
вопрос задан: 24 June 2014 13:19
0
ответов
Hadoop HDFS - Cannot connect to port on master
Я создал небольшой кластер Hadoop для тестирования. Установка прошла довольно хорошо с NameNode (1 машина), SecondaryNameNode (1) и всеми DataNode (3). Машины названы "master", "secondary" и "...
вопрос задан: 18 June 2014 12:32
0
ответов
Маленькие файлы и блоки HDFS
Хранит ли блок в распределенной файловой системе Hadoop несколько небольших файлов, или в блоке хранится только один файл?
вопрос задан: 26 February 2014 22:03
0
ответов
Разделить таблицу Hive по существующему полю?
Могу ли я разделить таблицу Hive при вставке по существующему полю ? У меня есть файл размером 10 ГБ с полем даты и полем часа дня. Могу ли я загрузить этот файл в таблицу, а затем вставить-перезаписать в другой ...
вопрос задан: 29 October 2013 15:44
0
ответов
Высокая пропускная способность и низкая задержка в HDFS
Я попытался определить, что означает высокая пропускная способность по сравнению с низкой задержкой в HDFS, и предложил следующее определение: HDFS оптимизирован для более быстрого доступа к пакетам данных (высокая ...
вопрос задан: 23 May 2013 15:32
0
ответов
Как работает HDFS с добавлением
Предположим, что один из них использует размер блока по умолчанию (128 МБ), и есть файл, использующий 130 МБ; поэтому используется один полноразмерный блок и один блок размером 2 МБ. Затем к файлу необходимо добавить 20 МБ (всего ...
вопрос задан: 13 November 2012 17:41
0
ответов
Как скопировать файлы из S3 в Amazon EMR HDFS?
Я использую куст поверх EMR, и мне нужно скопировать некоторые файлы во все экземпляры EMR. Один из способов, насколько я понимаю, - это просто скопировать файлы в локальную файловую систему на каждом узле, другой - скопировать файлы в ...
вопрос задан: 3 September 2012 17:11
0
ответов
Hive применяет схему во время чтения?
В чем разница и смысл этих двух утверждений, с которыми я столкнулся во время лекции здесь :1. Традиционные базы данных применяют схему во время загрузки. и 2. Hive применяет схему во время...
вопрос задан: 1 August 2012 17:13
0
ответов
Где хранятся мои файлы (dir ), когда я использовал Hadoop fs -mkdir?
Я совершенно новичок в Hadoop и только что закончил установку, которая заняла у меня 2 дня... Я сейчас пытаюсь с помощью команды hadoop dfs, но я просто не мог понять это, хотя я просматривал в течение нескольких дней, я...
вопрос задан: 30 July 2012 03:03
0
ответов
Разница между локальным режимом PIG и режимом mapreduce
В чем реальная разница между запуском скриптов PIG локально и на mapreduce? Я понимаю, что режим mapreduce — это когда вы запускаете его на кластере с установленным hdfs. Означает ли это, что локальный режим действительно...
вопрос задан: 26 July 2012 12:33
0
ответов
Как узнать размер файла HDFS
Как узнать размер файла HDFS? Какую команду следует использовать, чтобы узнать размер любого файла в HDFS.
вопрос задан: 21 July 2012 17:03
0
ответов
Доступно свободное пространство HDFS
Есть ли команда hdfs для просмотра свободного места в hdfs. Мы можем видеть это через браузер по адресу master :hdfsport в браузере, но по какой-то причине я не могу получить к нему доступ, и мне нужна какая-то команда. Я вижу...
вопрос задан: 20 July 2012 05:16
0
ответов
Копирование файла из HDFS на локальный компьютер
У меня проблема с попыткой «загрузить» файл из файловой системы HDFS в мою локальную систему. (хотя обратная операция работает без проблем ). *Примечание :Файл существует в файловой системе HDFS на...
вопрос задан: 13 July 2012 13:23
0
ответов
Как указать имя пользователя при размещении файлов на HDFS с удаленного компьютера
У меня есть настройка кластера Hadoop, и я работаю под общим именем пользователя по умолчанию «user1». Я хочу поместить файлы в hadoop с удаленного компьютера, который не является частью кластера hadoop. Я настроил хауп...
вопрос задан: 7 July 2012 00:10
0
ответов
Проблема с размером блока Hadoop и размером файла?
Это может показаться глупым вопросом, но в Hadoop предполагается, что размер блока равен X (, обычно 64 или 128 МБ ), а локальный размер файла равен Y (, где Y меньше X ). Теперь, когда я копирую файл Y в HDFS он будет потреблять...
вопрос задан: 6 July 2012 20:05
0
ответов
как HDFS ослабляет POSIX
из того, что я читал, HDFS работает быстро, потому что расслабляет некоторые приемы POSIX, но как это работает? или хотя бы какие? я не нашел ответа, потому что в гугле я нашел кого-то, перенаправляющего...
вопрос задан: 5 July 2012 20:14
0
ответов
Как заставить STORE (перезаписать) HDFS в Pig?
При разработке сценариев Pig, использующих команду STORE, мне приходится удалять выходной каталог для каждого запуска, иначе сценарий останавливается и предлагает: 2012-06-19 19:22:49,680 [main] ОШИБКА org.apache.pig.tools ....
вопрос задан: 19 June 2012 22:28
0
ответов
Отладка в PIG UDF
Я новичок в Hadoop/PIG. У меня есть основной вопрос. Есть ли у нас средство ведения журнала в PIG UDF? Я написал UDF, который мне нужно проверить
Мне нужно зарегистрировать определенные операторы, чтобы проверить поток. Есть ли ...
вопрос задан: 12 June 2012 21:17