0
ответов

что является альтернативой для TableReduce.initjob в новых API Hadoop и HBase

Мы столкнулись с некоторыми проблемами в нашей программе из-за новых API-интерфейсов hadoop и hbase Наша программа предназначена для работы со старыми версиями. Основная проблема связана с TableReduce.initjob (// параметры //), ...
вопрос задан: 25 March 2019 04:58
0
ответов

Работа HBase API, вопросы по интерфейсу Admin и Connect

И admin, и connection являются интерфейсами. Почему я могу использовать connect.getAdmin ()? Вызов метода не основан на экземпляре? Интерфейс не может создать экземпляр, эта проблема беспокоит меня ...
вопрос задан: 24 March 2019 05:56
0
ответов

Есть ли способ доступа к данным в ключе, кортеж данных в Happybase Table.Scan ()

Я использую happybase для сканирования базы данных, которую я создал в Hbase, но я не уверен, как еще больше разделить данные, не просто переместив их в совершенно другую структуру данных. Это пример ...
вопрос задан: 24 March 2019 04:21
0
ответов

Почему rdd всегда пуст во время загрузки данных Кафки в реальном времени в HBase через PySpark?

В соответствии с этим руководством я пытаюсь выполнить в реальном времени ввод данных Kafka в HBase через PySpark. Кажется, все работает нормально. Я запускаю Кафку Судо /usr/local/kafka/bin/kafka-server-start.sh / ...
вопрос задан: 4 March 2019 20:49
0
ответов

Данные о туберкулезе пишут на паркет

у нас есть данные размером 2,5 ТБ в hbase, размер области 5 г или 10 г, а в таблице hbase 450 реигонов. и нам нужно преобразовать в spark-sql. и метод, используемый ниже: 1.snapshot hbase table. 2. читать ...
вопрос задан: 1 February 2019 01:39
0
ответов

Разработка таблицы HBase для отслеживания состояния сложного объекта

У меня есть приложение для потокового воспроизведения, которое отвечает за объединение данных JSON с разных платформ в одну большую сущность. Куски данных могут быть идентифицированы как принадлежащие одному объекту по ...
вопрос задан: 17 January 2019 17:48
0
ответов

Ошибка при создании имени: com.ibm.security.krb5.KrbException, код состояния: 0

У нас есть приложение JEE, работающее на IBM AiX, которое подключается к керберизованной HBase. Kerberos Server - это Windows Active Directory. Не удается достичь HBase с ошибкой отключения звука. Приложение ...
вопрос задан: 17 January 2019 15:38
0
ответов

hbase скрипт сторожевого сервера

Помогите, пожалуйста, у нас более старая версия hadoop (2.0.0-cdh4.3.0), и наш экономный сервер довольно часто умирает с OOM. Я также читал об этом же здесь: Возможные проблемы с hbase thrift и был ...
вопрос задан: 16 January 2019 23:07
0
ответов

Как создать вторичный индекс с помощью HBase Shell?

Я пытаюсь создать более быстрый способ сканирования и фильтрации моих таблиц с помощью HBASE. Я решил попробовать какую-то вторичную индексацию, но я не использую Phoenix. Вопрос в том, можно ли его создать ...
вопрос задан: 13 July 2018 16:54
0
ответов

нулевые значения в некоторых столбцах фреймов данных, при чтении их из hbase

Я читаю данные из hbase, используя искру sql. один столбец содержит данные xml. когда размер xml мал, я могу читать правильные данные. но как только размер увеличивается слишком сильно, некоторые столбцы в dataframe ...
вопрос задан: 13 July 2018 05:38
0
ответов

hbase.MasterNotRunningException при создании таблицы в Hbase

ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times Я получил эту ошибку, когда создаю таблицу в HBase. Я привожу следующий способ создания таблицы с помощью HBase. ...
вопрос задан: 16 February 2018 20:51
0
ответов

Ошибка HBASE-ZOOKEEPER: слишком много соединений

Я использую комбинацию Hbase-Hadoop для своего приложения вместе с ядром данных в качестве ORM. Когда я пытаюсь получить доступ к hbase через несколько потоков одновременно. Он генерирует исключения как: Исключение ...
вопрос задан: 1 January 2018 11:22
0
ответов

Задание по уменьшению карты hadoop с входом HDFS и выходом HBASE

Я новичок в hadoop. У меня есть задание MapReduce, которое должно получать входные данные из Hdfs и записывать выходные данные редуктора в Hbase. Я не нашел хорошего примера. Вот код, ошибка ...
вопрос задан: 2 December 2017 07:45
0
ответов

Как решить, какую технологию NoSQL использовать?

Каковы плюсы и минусы MongoDB (на основе документов), HBase (на основе столбцов) и Neo4j (граф объектов)? Мне особенно интересно узнать некоторые типичные варианты использования каждого из них. Что ...
вопрос задан: 22 September 2017 18:01
0
ответов

HBase cassandra couchdb mongodb ... есть ли принципиальная разница?

Я просто хотел узнать, есть ли принципиальная разница между hbase, cassandra, couchdb и monogodb? Другими словами, все ли они конкурируют на одном и том же рынке и пытаются решить ...
вопрос задан: 22 September 2017 18:01
0
ответов

Лучший подход NoSQL для обработки 100+ миллионов записей

Я работаю над проектом, в котором мы загружаем и сохраняем огромный объем данных в базе данных Oracle, которая постоянно запрашивается через Hibernate против этих 100 + таблица миллионов записей (...
вопрос задан: 22 September 2017 18:01
0
ответов

NoSQL для временных рядов/зарегистрированных данных показаний приборов, которые также имеют версии.

Мои данные В первую очередь это данные мониторинга, передаваемые в виде метки времени: значение для каждого отслеживаемого значения на каждом отслеживаемом устройстве. Он регулярно собирается для многих устройств и многих ...
вопрос задан: 22 September 2017 18:01
0
ответов

Ошибка HBase - отказ от назначения -ROOT-

Я только что установил hadoop и hbase из cloudera (3), но когда я пытаюсь перейти на http: // localhost: 60010, он просто сидит там непрерывно загружается. Я могу легко добраться до регионального сервера - http: // localhost: ...
вопрос задан: 10 June 2017 08:18
0
ответов

Сканировать строки HTable на наличие определенного значения столбца с помощью оболочки HBase

Я хочу сканировать строки в HTable из оболочки hbase, где семейство столбцов (например, Tweet) имеет определенное значение (т.е. user_id). Теперь я хочу найти все строки, в которых tweet:user_id имеет значение test1, как это...
вопрос задан: 23 May 2017 12:10
0
ответов

Сканирование с фильтром с использованием раковины HBase

Как просканировать записи на основе некоторого фильтра сканирования IE: столбец: что-то = "quotevalue" что-то вроде этого, но из раковины HBase?
вопрос задан: 23 May 2017 11:54
0
ответов

Как мне увеличить количество запросов чтения в секунду для моей базы данных?

Я новичок в базах данных, но у меня проблема, которую я не могу понять. Заранее извините, если это слишком долго, я пытаюсь обобщить все мои усилия, чтобы вы точно знали, что я сделал ...
вопрос задан: 23 May 2017 02:07
0
ответов

Что использовать для агрегирования журналов в реальном времени и запросов?

Я ищу инструмент / базу данных / решение, которые могут мне помочь с агрегированием журналов в реальном времени и может запрашивать их также в режиме реального времени. Основным требованием является способность предоставлять результаты в кратчайшие сроки
вопрос задан: 29 April 2017 16:37
0
ответов

Отказ в соединении с hbase

Я новичок в HBase и Hadoop. Я полностью настроил HBase и запустился отлично. Теперь, когда я попытался подключиться с p1 к HBase (, где установка HBase находится на p2 )с помощью клиента Java, он выдает...
вопрос задан: 29 November 2016 13:25
0
ответов

Как получить несколько версий из одной конкретной строки и столбца в HBase

Как мы знаем, в hbase есть функция, позволяющая записывать значения недавних изменений в определенную строку и конкретный столбец по временным меткам. Итак, мой вопрос: КАК перечислить все измененные значения с помощью любой команды HBase? Я ...
вопрос задан: 24 November 2016 14:36
0
ответов

HBase 0.92 предупреждает о привязках SLF4J

Я установил HBase 0.92 на Hadoop 1.0.0, и он отлично работает в полностью распределенном режиме, но раздражающее предупреждение продолжает появляться. Как мне от этого избавиться? ....... hbase (main): 001: 0> status SLF4J: ...
вопрос задан: 18 April 2016 20:22
0
ответов

Скрипт, который удаляет все таблицы в Hbase

I может указать hbase отключить и удалить определенные таблицы, используя: disable 'tablename' drop 'tablename' Но я хочу удалить все таблицы в базе данных без жесткого кодирования имен любого из ...
вопрос задан: 24 October 2015 12:33
0
ответов

Hbase быстро подсчитывает количество строк

Прямо сейчас я реализую подсчет строк в ResultScanner следующим образом: (Result rs = scan.next (); rs != ноль; rs = scan.next ()){ число++; } Если данные достигают миллионов, время вычислений велико. I...
вопрос задан: 6 October 2015 02:31
0
ответов

Проверить, существует ли таблица

Каков самый быстрый способ проверить, существует ли таблица Hbase? Глядя на этот api: http://hbase.apache.org/devapidocs/org/apache/hadoop/hbase/client/HBaseAdmin.html Какой из них самый быстрый: ...
вопрос задан: 28 September 2015 18:49
0
ответов

Как массово удалить несколько строк в hbase?

У меня есть следующие строки с этими ключами в таблице hbase "mytable" user_1 user_2 user_3 ... user_9999999 Я хочу использовать оболочку Hbase для удаления строк из: user_500 to user_900 Я знаю, что нет ...
вопрос задан: 28 September 2015 09:15
0
ответов

Лучший способ хранить иерархические данные в hbase

У меня есть иерархический XML-файл, полученный от клиента, мне нужно сохранить его в базе данных Hbase, так как я новичок в Hbase, я не могу понять, как подойти, могу Пожалуйста, объясните мне, как мне ...
вопрос задан: 27 August 2015 00:11