0
ответов
Amazon EC2 и Amazon EMR [закрыто]
Я реализовал задачу в Hive. В настоящее время он отлично работает в моем кластере с одним узлом. Теперь я планирую развернуть его на AWS. Я ничего не знаю об АВС. Если я планирую его развернуть, то что...
вопрос задан: 18 September 2018 18:38
0
ответов
тестирование автоматизации: Framework для проектирования для проверки сырой даты из улья, извлечение данных из React, а затем сравнение этих данных с использованием
Нужно динамически получать данные из таблицы hive. Преобразование в JSON, получение данных из REact JS и преобразование в JSON. Получите данные от третьей стороны (ThoughtSpot) и конвертируйте в JSON. PERFORM validation ...
вопрос задан: 14 July 2018 01:09
0
ответов
Что это значит, если драйвер JDBC не может найти определенный класс
Я работаю с отчетами и в настоящее время вижу предупреждение в журналах ошибок BIRT designer (Eclipse): «Не могу загрузить driverClass: org.apache.hive.jdbc.HiveDriver« Я занимался проблемами classnotfound перед ...
вопрос задан: 13 July 2018 20:10
0
ответов
Использование json_tuple в HIVE для возврата элементов данных, имеющих дубликаты ключей
INPUT DATA IN ON COLUMN v1.segments {"segmentid": "INS", "content": "Y: 18: 030: XN: A ::: FT"}, {"segmentid": "REF", "content" : "0F: 999999999"}, { "segmentid": "REF", "содержание": "1л: 999999999"}, { "segmentid": "REF", "...
вопрос задан: 13 July 2018 19:44
0
ответов
Искра Над улей над фениксом
Я использую Phoenix 4.9.0 с искровым 2.1.1, создали внешнюю таблицу в улье над фениксом, используя обработчик Хранения феникса. Я пытаюсь выполнить запрос с сервера Spark Thrift на улей. Всякий раз, когда я ...
вопрос задан: 13 July 2018 15:20
0
ответов
Как использовать Sqoop для объединения нескольких таблиц MySQL в одну таблицу Hive
У меня есть две таблицы MySQL в разных экземплярах MySQL, они одинаковы в структуре таблицы. Как я могу использовать Sqoop, чтобы объединить их в одну таблицу? Возможно, существуют дубликаты записей в ...
вопрос задан: 13 July 2018 11:52
0
ответов
режим защиты от улей
Я создал представление в таблице hive. Фактическая таблица: CREATE TABLE userinfo (строка firstname, строка lastname, строка ssn, строка пароля); Просмотр: CREATE VIEW safer_user_info AS SELECT имя, фамилия ...
вопрос задан: 13 July 2018 09:26
0
ответов
Как запросить таблицу улей с помощью SparkSession в методе foreachPartition?
Я хочу запросить таблицу улья, используя SparkSession в методе foreachPartition. Любой может помочь? Очень ценю это!
вопрос задан: 13 July 2018 08:18
0
ответов
Где Hive хранит файлы в HDFS?
Я хотел бы знать, как найти соответствие между таблицами Hive и фактическими файлами HDFS (или, скорее, каталогами), которые они представляют. Мне нужен прямой доступ к файлам таблиц. Где хранится Hive ...
вопрос задан: 31 May 2018 21:33
0
ответов
Получить разные идентификаторы из улья?
У меня есть данные следующим образом: идентификатор имени штата 1 Ким Нью-Йорк 1 Дэнни Нью-Джерси 1 Ким в 2 Том Па 2 Сам CA 3 ...
вопрос задан: 21 May 2018 10:47
0
ответов
Предложение Hive QL Except
Как сделать предложение EXCEPT (например, SQL) в Hive QL У меня есть 2 таблицы, и каждая таблица представляет собой столбец с уникальными идентификаторами. Я хочу найти список идентификаторов, которые находятся только в таблице 1, но не в таблице 2 Таблиц
вопрос задан: 21 May 2018 06:13
0
ответов
Выражение улья не в группе по ключу
Я создаю таблицу в HIVE.
В нем есть следующие столбцы: id bigint, rank bigint, строка даты, которую я хочу получить в среднем (рейтинге) за месяц. Я могу использовать эту команду. Оно работает. выберите a.lens_id, avg (a.rank)
из ...
вопрос задан: 11 May 2018 23:28
0
ответов
Hive: создание таблиц с несколькими файлами с несколькими каталогами
Я хочу создать таблицу Hive, в которой входные текстовые файлы перемещаются по нескольким подкаталогам в формате hdf. Вот пример, который я имею в hdfs: / testdata / user / Jan / part-0001 / testdata / user / Feb / part -...
вопрос задан: 8 February 2018 20:34
0
ответов
Hive: writing column headers to local file?
Hive documentation lacking again: I'd like to write the results of a query to a local file as well as the names of the columns. Does Hive support this? Insert overwrite local directory 'tmp/blah....
вопрос задан: 8 February 2018 11:38
0
ответов
Ошибка sqlContext HiveDriver в SQLException: метод не поддерживается
Я пытался использовать sqlContext.read.format ("jdbc"). Options (driver = "org.apache.hive.jdbc.HiveDriver"), чтобы получить таблицу Hive в Spark без какого-либо успеха. Я провел исследование и прочитал ниже: Как ...
вопрос задан: 1 February 2018 11:32
0
ответов
Что было бы хорошим решением для хранения истории изменений объектов?
Необходимо отслеживать изменения, внесенные в объекты в базе данных. Тривиальной реализацией была бы зеркальная таблица, в которую вставляются записи с помощью триггеров, либо внутри базы данных, либо внутри ...
вопрос задан: 22 September 2017 18:01
0
ответов
При создании внешней таблицы в улье могу ли я указать расположение определенных файлов в каталоге?
Я определил таблицу как таковую :создать внешнюю таблицу PageViews (Userid string, Page _View string )разделен на (строку ds )формат строки в виде полей с разделителями, заканчивающихся символом ',' хранится как текстовый файл...
вопрос задан: 30 June 2017 19:03
0
ответов
Могу ли я изменить таблицу с внутренней на внешнюю в улье?
Я создал таблицу в улье как управляемую, но она должна была быть внешней, можно ли изменить тип таблицы без потери данных?
вопрос задан: 30 June 2017 19:03
0
ответов
Каковы последствия добавление столбца в существующую таблицу HIVE?
Предположим, что через пару сотен гигабайт после начала использования HIVE я хочу добавить столбец.
Из различных статей и страниц, которые я видел, я не могу понять последствий с точки зрения места для хранения ...
вопрос задан: 29 June 2017 15:51
0
ответов
Улей не может вручную установить количество редукторов
У меня есть следующий запрос улья: выберите количество (отдельный идентификатор) как общее из mytable; который автоматически порождает:
1408 картографов
1 Редуктор Мне нужно вручную установить количество редукторов, и я попробовал ...
вопрос задан: 12 June 2017 17:20
0
ответов
Amazon Elastic MapReduce — массовая вставка из S3 в DynamoDB выполняется невероятно медленно
Мне нужно выполнить начальную загрузку примерно 130 миллионов элементов (всего 5+ Гб) Таблица ДинамоБД. После того, как у меня возникли проблемы с их загрузкой с помощью API из моего приложения, я решил...
вопрос задан: 23 May 2017 12:34
0
ответов
Объединение двух таблиц в Hive с помощью HiveQL (Hadoop )[дубликат]
Возможный дубликат :SQL-запрос JOIN with Table CREATE EXTERNAL TABLE IF NOT EXISTS TestingTable1 (Это ГЛАВНАЯ таблица, по которой необходимо проводить сравнения)
(
ПОКУПАТЕЛЬ _ID БОЛЬШОЙ, ПУНКТ _ID...
вопрос задан: 23 May 2017 12:33
0
ответов
Как разделить таблицу с помощью HIVE?
Я играю с Hive уже несколько дней, но у меня все еще есть проблемы с разделением. Я записываю журналы Apache (формат Combine) в Hadoop в течение нескольких месяцев. Они хранятся в текстовом формате строки,...
вопрос задан: 23 May 2017 12:06
0
ответов
Использование Pig / Hive для обработки данных вместо кода сокращения прямой карты Java?
(Даже более простой, чем разница между Pig и Hive? Почему оба?) У меня есть конвейер обработки данных, написанный в нескольких задачах Java по сокращению карты через Hadoop (мой собственный код, полученный из Hadoop '...
вопрос задан: 23 May 2017 11:50
0
ответов
Выполнение запроса Pig по данным, хранящимся в Hive
Я хотел бы знать, как выполнять запросы Pig, хранящиеся в формате Hive. Я настроил Hive для хранения сжатых данных (с помощью этого руководства http://wiki.apache.org/hadoop/Hive/CompressedStorage). Перед ...
вопрос задан: 23 May 2017 11:45
0
ответов
Функция даты улья для достижения дня недели
Я ищу обходные пути или функции даты улья, которые дают день недели, воскресенье - 1 понедельник - 2 вторник - 3 среду - 4 четверг - 5 пятницу - 6 субботу - 7 Требование подробно: я ...
вопрос задан: 13 March 2017 18:11
0
ответов
Как сохранить DataFrame непосредственно в Hive?
Можно ли сохранить DataFrame в Spark непосредственно в Hive. Я попытался с преобразованием DataFrame в Rdd, а затем сохранить в виде текстового файла и затем загрузить в куст. Но мне интересно, могу ли я напрямую ...
вопрос задан: 25 December 2016 21:26
0
ответов
Улей - Как посмотреть таблицу, созданную в metastore?
Вот наша настройка - у нас есть Hive, который использует MySQL на другом компьютере в качестве метастаза. Я могу запустить оболочку командной строки Hive, создать таблицу и описать ее. Но когда я вхожу в другую машину ...
вопрос задан: 29 June 2016 20:41
0
ответов
Как загрузить данные в куст из HDFS, не удаляя исходный файл?
При загрузке данных из HDFS в куст с использованием LOAD DATA INPATH 'hdfs_file' INTO TABLE tablename; , похоже, что файл hdfs_file перемещается в каталог hive / хранилища.
Можно (как?) скопировать его ...
вопрос задан: 23 June 2016 15:11
0
ответов
java.net.URISyntaxException при запуске HIVE
Я новичок в HIVE. Я уже настроил Hadoop, и он работает хорошо, и я хочу настроить Hive. Когда я запускаю куст, он показывает ошибку, вызванную: java.net.URISyntaxException: Относительный путь в ...
вопрос задан: 8 June 2016 11:55