0
ответов
Получите sysdate -1 в Hive
Есть ли способ получить текущую дату -1 в Hive всегда означает вчерашнюю дату? И в этом формате -20120805? Я могу запустить свой запрос таким образом, чтобы получить данные для вчерашней даты, так как сегодня 6 августа -...
вопрос задан: 7 August 2012 02:28
0
ответов
Передача даты в качестве аргументов командной строки в Hive
У меня есть запрос ниже в файле test1.hql. Я пытаюсь передать дату (dt )в качестве аргумента командной строки. выберите *из губ _данные _качество, где dt = '${hiveconf :start _date}'; Поэтому всякий раз, когда я пытаюсь бежать...
вопрос задан: 4 August 2012 18:48
0
ответов
Эффективное хранение данных в Hive
Как я могу эффективно хранить данные в Hive, а также хранить и извлекать сжатые данные в Hive? В настоящее время я храню его как TextFile. Я просматривал статью Bejoy и обнаружил, что LZO...
вопрос задан: 3 August 2012 17:31
0
ответов
Hadoop :java.lang.ClassCastException :org.apache.hadoop.io.LongWritable нельзя преобразовать в org.apache.hadoop.io.Text
Моя программа выглядит как общедоступный класс TopKRecord extends.Text> { public void map (Текстовый ключ,...
вопрос задан: 2 August 2012 19:48
0
ответов
Hive применяет схему во время чтения?
В чем разница и смысл этих двух утверждений, с которыми я столкнулся во время лекции здесь :1. Традиционные базы данных применяют схему во время загрузки. и 2. Hive применяет схему во время...
вопрос задан: 1 August 2012 17:13
0
ответов
Hive QL -Ограничение количества строк для каждого элемента
Если у меня есть несколько элементов, перечисленных в предложении where, как можно ограничить результаты до N для каждого элемента в списке? EX :выберите a _id,b,c, count (*), как sumrequests из таблицы _имя куда а _идентификатор...
вопрос задан: 31 July 2012 23:13
0
ответов
Где используется Sort на этапе MapReduce и почему?
Я новичок в хаупе здесь. Непонятно, зачем нам нужна возможность сортировки по ключам при использовании hadoop mapreduce? После этапа карты нам нужно распределить данные, соответствующие каждому уникальному ключу, на некоторые...
вопрос задан: 31 July 2012 18:05
0
ответов
Hadoop: невозможно использовать команду Jps
Проблема в hduser @ saket-K53SM: / usr / local / hadoop $ jps. Программу 'jps' можно найти в следующих пакетах: * openjdk-6-jdk * openjdk-7-jdk Попробуйте: sudo apt-get install < выбрано ...
вопрос задан: 31 July 2012 15:47
0
ответов
Где хранятся мои файлы (dir ), когда я использовал Hadoop fs -mkdir?
Я совершенно новичок в Hadoop и только что закончил установку, которая заняла у меня 2 дня... Я сейчас пытаюсь с помощью команды hadoop dfs, но я просто не мог понять это, хотя я просматривал в течение нескольких дней, я...
вопрос задан: 30 July 2012 03:03
0
ответов
Плагин не найден в репозитории плагинов -Как решить проблему, когда Nexus моей компании не работает?
Я пытаюсь собрать Hadoop локально, и когда я делаю $ mvn -U clean install -Pdist -Dtar -Ptest -patch, как уже упоминалось -http://wiki.apache.org/hadoop/HowToSetupYourDevelopmentEnvironment[ERROR] Ошибка...
вопрос задан: 29 July 2012 06:42
0
ответов
как выбрать данные из улья с определенным разделом?
каждый. вот взаимодействие с ульем :hive> показать разделы TABLENAME pt=2012.07.28.08/_завершено=1 pt=2012.07.28.09/_завершено=1 pt=2012.07.28.10/_завершено=1 пт=2012.07.28.11/...
вопрос задан: 28 July 2012 10:17
0
ответов
как установить путь к классам для программы Java в файловой системе hadoop
Я пытаюсь понять, как установить путь к классу, который ссылается на HDFS? Я не могу найти никакой ссылки. java -cp "как ссылаться на HDFS?" com.MyProgram Если я не могу сослаться на файловую систему hadoop,...
вопрос задан: 28 July 2012 05:32
0
ответов
Разница между локальным режимом PIG и режимом mapreduce
В чем реальная разница между запуском скриптов PIG локально и на mapreduce? Я понимаю, что режим mapreduce — это когда вы запускаете его на кластере с установленным hdfs. Означает ли это, что локальный режим действительно...
вопрос задан: 26 July 2012 12:33
0
ответов
Ошибка при запуске Hadoop Job Tracker
Я попытался запустить простую программу в Hadoop с помощью Windows-Cygwin. Я могу запустить namenode. Однако запуск джобтрекера завершается с ошибкой :FATAL mapred.JobTracker:java.lang....
вопрос задан: 25 July 2012 21:36
0
ответов
Задание Hadoop :работает нормально на меньшем наборе данных, но не работает с большим набором данных
У меня следующая ситуация: у меня есть кластер из 3 машин со следующей конфигурацией. Основное использование / :91,4% от 74,41 ГБ MemTotal :16557308 кБ MemFree :723736 КБ Ведомый 01...
вопрос задан: 22 July 2012 16:40
0
ответов
Как узнать размер файла HDFS
Как узнать размер файла HDFS? Какую команду следует использовать, чтобы узнать размер любого файла в HDFS.
вопрос задан: 21 July 2012 17:03
0
ответов
Доступно свободное пространство HDFS
Есть ли команда hdfs для просмотра свободного места в hdfs. Мы можем видеть это через браузер по адресу master :hdfsport в браузере, но по какой-то причине я не могу получить к нему доступ, и мне нужна какая-то команда. Я вижу...
вопрос задан: 20 July 2012 05:16
0
ответов
Зачем объявлять классы Mapper и Reducer статическими?
Это, вероятно, свидетельствует о том, что я не понимаю Java, но мне интересно, почему в большинстве программ MapReduce классы картографа и редуктора объявлены как статические?
вопрос задан: 19 July 2012 23:15
0
ответов
Поиск в документах, хранящихся в Hadoop -Какой инструмент использовать?
Я потерялся в :Hadoop, Hbase, Lucene, Carrot2, Cloudera, Tika, ZooKeeper, Solr, Katta, Cascading, POI... Когда вы читаете об одном, вы часто можете быть уверены, что каждый из других инструментов будет...
вопрос задан: 18 July 2012 18:53
0
ответов
Hadoop в псевдо-распределенном режиме. В соединении отказано
P.S :Пожалуйста, не отмечайте это как дубликат. Привет, я пытался настроить и запустить Hadoop в псевдораспределенном режиме. Когда я запускаю скрипт start -all.sh, я получаю этот вывод :start namenode,...
вопрос задан: 15 July 2012 13:59
0
ответов
Копирование файла из HDFS на локальный компьютер
У меня проблема с попыткой «загрузить» файл из файловой системы HDFS в мою локальную систему. (хотя обратная операция работает без проблем ). *Примечание :Файл существует в файловой системе HDFS на...
вопрос задан: 13 July 2012 13:23
0
ответов
Установка PIG на одном узле
Я установил Hadoop (1.0.2 )для одного узла в Windows 7 с Cygwin, и он работает. Однако я не могу заставить PIG (0.10.0 )увидеть Hadoop. 1 )«Ошибка :JAVA _ГЛАВНАЯ не установлена». Я добавил эту строку в...
вопрос задан: 13 July 2012 11:46
0
ответов
Ошибка Hbase mapreduce
Я пишу задание mapreduce. Вход представляет собой таблицу в hbase. При выполнении задания произошла ошибка :org.apache.hadoop.hbase.client.ScannerTimeoutException :88557 мс с момента последнего вызова, время ожидания...
вопрос задан: 13 July 2012 02:45
0
ответов
Документация Hadoop для Eclipse
Недавно я установил Hadoop и могу запускать простые программы. Однако я хотел бы просмотреть документацию по классам Hadoop в браузере Javadoc в Eclipse. Пожалуйста, дайте мне знать, как включить это...
вопрос задан: 13 July 2012 02:31
0
ответов
как убить работу Hadoop
Я хочу автоматически уничтожать все свои задания хаупа, когда мой код сталкивается с необработанным исключением. Мне интересно, как лучше всего это сделать? Спасибо
вопрос задан: 12 July 2012 09:04
0
ответов
Как получить имя входного файла в MRjob
Я пишу функцию карты, используя mrjob. Мой ввод будет поступать из файлов в каталоге на HDFS. Имена файлов содержат небольшую, но важную информацию, которой нет в самих файлах. Есть...
вопрос задан: 11 July 2012 14:26
0
ответов
ListFiles из кластера HDFS
Я любитель с хаупом и прочим. Теперь я пытаюсь получить доступ к кластеру Hadoop (HDFS )и получить список файлов из клиентского eclipse. Я могу выполнять следующие операции после настройки...
вопрос задан: 9 July 2012 11:16
0
ответов
Взорвать массив Struct в Hive
Это приведенная ниже таблица Hive CREATE EXTERNAL TABLE IF NOT EXISTS SampleTable (ПОЛЬЗОВАТЕЛЬ _ID БОЛЬШОЙ, NEW _ПУНКТ МАССИВ> )А это данные в...
вопрос задан: 7 July 2012 21:14
0
ответов
Почему отправка задания на mapreduce занимает так много времени?
Таким образом, обычно для кластера из 20 узлов отправка задания на обработку 3 ГБ (200 разбиений )данных занимает около 30 секунд, а фактическое выполнение — около 1 минуты. Я хочу понять, что является узким местом в процессе отправки вакансий...
вопрос задан: 7 July 2012 00:18
0
ответов
Как указать имя пользователя при размещении файлов на HDFS с удаленного компьютера
У меня есть настройка кластера Hadoop, и я работаю под общим именем пользователя по умолчанию «user1». Я хочу поместить файлы в hadoop с удаленного компьютера, который не является частью кластера hadoop. Я настроил хауп...
вопрос задан: 7 July 2012 00:10