1
ответ
В Hive, как указать разделители с разделителями столбцов для типов данных структуры с помощью пользовательских разделителей serde2
Я пытаюсь создать таблицу, как показано ниже. CREATE TABLE r_test (foo INT, bar STRING, адрес STRUCT & lt; street: STRING, город: STRING, состояние: STRING, zip: INT & gt;) ROW FORMAT SERDE 'org.apache.hadoop.hive ....
вопрос задан: 14 July 2018 00:07
1
ответ
json file schema / object для запуска схемы для загрузки данных
Мне нужно загружать много файлов в таблицы с помощью pySpark. Существует несколько разных json-файлов, содержащих данные и отдельные файлы, в которых определены схемы данных файлов. При загрузке файлов без ...
вопрос задан: 13 July 2018 16:37
1
ответ
Вставить в таблицу улья не работает
У меня есть прямая таблица hive, когда я вставляю в эту таблицу, я получаю следующую ошибку. Выполняется команда kill, а число маркеров и редукторов - 0. Обновление, которое я использовал ...
вопрос задан: 13 July 2018 09:55
1
ответ
SparkSQL (Thrift Server) TTransportException после 11 минут при запуске select * на 30-миллионной таблице строк [дубликат]
Env: hive 2.1.1, указывающий на таблицы на S3 Spark 2.3.0 (автономный режим) Hadoop 2.8.3 без hdfs Используя beeline для запроса sparksql (порт 10015, который был открыт службой бережливости), выберите * на таблицах с ...
вопрос задан: 31 May 2012 11:02
1
ответ
как разработать схему Hbase?
предположите, что у меня есть эта таблица RDBM (Entity-attribute-value_model): col1: entityID col2: attributeName col3: значение и я хотим использовать HBase из-за масштабирования проблем. Я знаю что единственный способ получить доступ...
вопрос задан: 2 June 2011 10:19
1
ответ
Опции веб-интерфейса Hive Hadoop
Я экспериментировал с Hive для некоторых операций анализа данных и хотел бы сделать его легко доступным ориентируемым коллегам меньшей командной строки. Hive действительно теперь поставлется с веб-интерфейсом (http:/...
вопрос задан: 3 April 2010 12:06
1
ответ
OLAP может быть сделан в BigTable?
В прошлом я раньше создавал WebAnalytics с помощью работы кубов OLAP MySQL. Теперь куб OLAP путем, я использовал его, является просто большой таблицей (хорошо, это было сохранено немного более умное, чем это), где каждая строка...
вопрос задан: 14 September 2009 21:59
0
ответов
Does Hive have a String split function?
I am looking for a in-built String split function in Hive? e.g. if String is: A|B|C|D|E Then I want to have a function like: array split(string input, char delimiter) So that I get ...
вопрос задан: 2 October 2019 21:00
0
ответов
Десериализовать DynamoDB JSON в Hive
Я создал внешнюю таблицу на EMR для поиска данных на DynamoDB через Hive. Поскольку в таблице DDB есть поле карты, я сопоставил это поле как карту, что привело к отображению всех записей в формате JSON ...
вопрос задан: 7 April 2019 17:19
0
ответов
Нужно руководство по переписыванию этого запроса
Текущий сценарий => У нас есть запрос, который мы выполняем на нашем кластере продуктов. этот запрос выбирает только 3 поля из объединения между 1 таблицей и (вложенным способом объединения) другой огромной таблицы, а затем ...
вопрос задан: 1 April 2019 06:09
0
ответов
как конвертировать строку формата & ldquo; dd-mmm- & ldquo; метку времени в hadoop? [Дубликат]
Как мне получить строку в формате дд-ммм-гг, например. "26-Фев-19", в отметку времени в улье? Приведение не работает, так как принимает только формат гггг-мм-дд
вопрос задан: 29 March 2019 15:16
0
ответов
Как исправить ошибку: & ldquo; java.net.URISyntaxE xception: Относительный путь в абсолютном URI & rdquo; при создании таблицы улья
Я собираюсь создать внешнюю таблицу в Hive, используя приведенный ниже код: CREATE EXTERNAL TABLE product (productID int, строка кода, строка имени, количество int, плавающая цена) STORED AS orc LOCATION "пользователь / ...
вопрос задан: 29 March 2019 02:42
0
ответов
Как UDFMethodResolver работает в классе Hive UDF?
Я новичок в Улей. Я узнал, что пользовательская функция может быть создана с любой сигнатурой метода методаvalu (). (За исключением типа возврата void). Мне любопытно узнать, как UDFMethodResolver разрешает ...
вопрос задан: 28 March 2019 06:02
0
ответов
Периодически выполнять запрос куста без блокировки при выполнении заданий потоковой передачи
Как мне периодически выполнять неблокирующий запрос MSCK REPAIR TABLE database.table? Поддерживает ли Spark Streaming это изначально или я должен полагаться на модуль потоков Python? У меня есть ...
вопрос задан: 27 March 2019 15:38
0
ответов
Как передать параметр HQL в рабочий процесс Oozie с помощью Hue?
http://gethue.com/drag-drop-saved-hive-queries-into-your-workflows/#comment-78368 Разве это не работает в текущей версии? например, Hue4.3 и т. д. Имя параметра при отправке рабочего процесса равно 'zip'. Это не '...
вопрос задан: 22 March 2019 15:20
0
ответов
специальный символ с заглавной () регистровой функцией в импале
У меня есть требование в моем текущем проекте. у нас есть столбец в файле hdfs "ASCII_FIXED_STR", когда я получаю через Impala с использованием запроса ниже, я не получаю правильный вывод SQL без
вопрос задан: 20 March 2019 14:01
0
ответов
Извлечение данных из улья и загрузка в таблицу postgres
Я установил сервер ambari для запуска hadoop и hive. Теперь я загрузил таблицы кустов из CSV-файла. Я хочу загрузить данные из улья в базу данных postgres. Postgres db действует как промежуточная база данных. Правильно ...
вопрос задан: 19 March 2019 06:56
0
ответов
Значения одного столбца в несколько столбцов в кусте
У меня есть таблица, которая обновляется еженедельно, мне нужно проверить проверку изменения количества между недельной и предыдущей неделями. Я только что сделал ниже .... Выберите случай, когда F.wk_end_d = max (F.wk_end_d) более (...
вопрос задан: 6 March 2019 16:48
0
ответов
Выберите, где ключ раздела слишком медленный с лимитом на Spark Sql
Я выполняю запрос, подобный select < column > от < mytable > где < partition_key > = < значение > предел 10, и это займет навсегда, чтобы выполнить. Я посмотрел на физический план, и я ...
вопрос задан: 6 March 2019 08:35
0
ответов
Преобразование имен столбцов в строки в кусте
У меня есть стол в Улье. Я должен преобразовать имена столбцов в строки. У меня есть следующая таблица: + --------- + --------- + --------- + | Таблица 1 | Таблица 2 | Таблица 3 | + --------- + --------- + ----...
вопрос задан: 5 March 2019 08:02
0
ответов
Доступ к ульям jdbc и искровым ульям с помощью Kerberos
Я пытаюсь подключить куст с помощью hive-jdbc и spark local в двух интерфейсах. Но интерфейс jdbc получает ошибку через 1,2 дня: аутентификация с помощью kerberos вначале прошла успешно, и я могу использовать оба ...
вопрос задан: 4 March 2019 06:08
0
ответов
Импала - SocketTimeoutException: время ожидания истекло
Я пытаюсь настроить кластер с одним узлом, на котором работает Impala на Kudu, а HiveMetaStore управляется PostgreSQL. Соединение с базой данных завершается неудачно с "java.net.SocketTimeoutException: Читать ...
вопрос задан: 3 March 2019 11:59
0
ответов
Как сравнить таблицы Hive и SQL
Мы создали планировщик, который извлекает данные с сервера sql в помещении и помещает их в HDFS. Теперь проблема в том, что нам нужно проверить, правильно ли переданы данные и соответствуют ли они ...
вопрос задан: 1 March 2019 11:37
0
ответов
java.sql.SQLException: ORA-00936: отсутствует выражение и нет столбцов для генерации для ClassWriter при импорте sqoop
Я пытаюсь импортировать таблицы в куст с помощью sqoop, но при импорте таблицы отображается сообщение об ошибке, отсутствует выражение. Как ее решить, пожалуйста, помогите мне
вопрос задан: 1 March 2019 06:24
0
ответов
Контейнер [xxx] работает за пределом памяти PHYSICAL
Создание базового хранилища данных с hive2, установленным через Ambari 2.7.3.0 (hortonworks DP). Услуги, которые я выбираю: HDFS, YARN + MapReduce2, Tez, Hive, Pig, Sqoop, Oozie, Zookeeper, Ambari ...
вопрос задан: 21 February 2019 16:22
0
ответов
Несоответствие данных Hive Bucket Join (SMB) при объединении таблиц с таблицами секционирования и таблицами
У меня есть запрос улья, где он объединяется с 4 таблицами. Все таблицы разбиты по дате и объединены в соответствующие ключевые столбцы. Таблица A (Основная таблица) - разделена по дате и сгруппирована по C1, C2, C3, C4 ...
вопрос задан: 19 January 2019 07:03
0
ответов
Трехстороннее объединение с агрегацией с использованием HIVE и HDFS
По сути, это вопрос дизайна, который у меня есть. Ищете наиболее эффективный способ выполнить это. Вот сценарий .... У нас есть три части данных. Это: DATASET 1 (HDFS) (первичный ключ: ...
вопрос задан: 18 January 2019 17:17
0
ответов
HIVE - большие запросы теряют параллелизм
В некоторых запросах или комбинациях запросов (несколько шагов) я заметил, что сначала у меня много заданий отображения (так как данные находятся во многих разделах), а затем постепенно уменьшается, например, шаг 1 ...
вопрос задан: 16 January 2019 20:36
0
ответов
Как я могу подключить Hive Metastore с помощью Kerberos и SSL?
Я подключаюсь к Hive Metastore с аутентификацией Kerberos. Я попробовал несколько конфигураций, и мое текущее исключение - это. java.lang.IllegalArgumentException: java.net.UnknownHostException: & ...
вопрос задан: 16 January 2019 10:05
0
ответов
Загрузка данных в CSV-файл в HBase с использованием Pig
Я пытаюсь загрузить один CSV-файл в таблицу HBase. Я могу успешно сбросить данные из CSV, но при импорте в таблицу я получаю сообщение об ошибке. Но, при загрузке других данных, я могу загрузить любой ...
вопрос задан: 31 December 2018 17:05