Как Hive выдерживает сравнение с HBase?
для bash:
# this will trap any errors or commands with non-zero exit status
# by calling function catch_errors()
trap catch_errors ERR;
#
# ... the rest of the script goes here
#
function catch_errors() {
# do whatever on errors
#
#
echo "script aborted, because of errors";
exit 0;
}
3 ответа
Hive - это аналитический инструмент. Как и pig, он был разработан для специальной пакетной обработки потенциально огромных объемов данных за счет использования map reduce. Думайте террабайты. Представьте, что вы пытаетесь сделать это в реляционной базе данных ...
HBase - это хранилище значений ключей на основе столбцов, основанное на BigTable. Вы не можете выполнять запросы как таковые, хотя вы можете запускать задания сокращения карты через HBase. Его основной вариант использования - выборка строк по ключу или сканирование диапазонов строк. Важной особенностью является возможность определения местоположения данных при сканировании диапазонов ключей строк для '
С одной стороны, Hive состоит из пяти основных компонентов: SQL-подобной грамматики и синтаксического анализатора, планировщика запросов, механизма выполнения запросов, репозитория метаданных и столбчатой структуры хранилища. Его основное внимание уделяется аналитическим рабочим нагрузкам в стиле хранилища данных, поэтому получение значений по ключу с малой задержкой не требуется.
HBase имеет собственное хранилище метаданных и столбчатую структуру хранилища. Можно создавать запросы HiveQL по таблицам HBase, что позволяет HBase использовать грамматику и синтаксический анализатор Hive, планировщик запросов и механизм выполнения запросов. См. http://wiki.apache.org/hadoop/Hive/HBaseIntegration для получения дополнительной информации.
Насколько я знаю, Улей больше похож на Свинью. Hive похож на SQL, а Pig основан на сценариях. Hive кажется более сложным с механизмами оптимизации и выполнения запросов, а также требует, чтобы конечный пользователь указывал параметры схемы (раздел и т. Д.). Оба предназначены для обработки текстовых файлов или файлов последовательности.
HBase предназначен для хранения и извлечения данных значения ключа...вы можете сканировать или фильтровать эти пары (строки) ключ-значение. Вы не можете выполнять запросы к строкам (ключ, значение).