Hbase和Hive的區別

2022-07-19 07:54:12 字數 587 閱讀 7836

一、區別:

1.hbase即 hadoopdatabase 的簡稱,也就是基於hadoop資料庫,是一種nosql資料庫,主要適用於海量明細資料(十億、百億)的隨機實時查詢,如交易清單、日誌明細、軌跡行為等。

hive是hadoop的資料倉儲,嚴格地講並非資料庫,主要是讓開發人員能夠通過sql來計算和處理hdfs上的結構化資料,適用於離線的批量資料計算。

3.通過元資料來描述hdfs上的結構化文字資料,通俗點來說,就是定義一張表來描述hdfs上的結構化文字,包括各列資料名稱、資料型別等內容,便於處理資料,當前很多sql on hadoop的計算引擎均用的是hive的元資料,例如spark sql、impala等;

4.基於第一點,通過sql來處理和計算hdfs的資料,hive會將sql翻譯為mapreduce來處理資料。

二、關係

在大資料架構中,hive和hbase是協作關係,總結起來有以下四點:

1.通過hive清洗、處理和計算原始資料;

2.通過etl工具將資料來源抽取到hdfs儲存;

3.hive清洗處理後的結果,如果是面向海量資料隨機查詢場景的可存入hbase;

4.資料應用從hbase查詢資料。

Hive和HBase的區別

hive是為了簡化編寫mapreduce程式而生的,使用mapreduce做過資料分析的人都知道,很多分析程式除業務邏輯不同外,程式流程基本一樣。在這種情況下,就需要hive這樣的使用者程式設計介面。hive本身不儲存和計算資料,它完全依賴於hdfs和mapreduce,hive中的表純邏輯,就是些...

hbase和hive的區別

hive 不想用程式語言開發mapreduce的朋友比如db們,熟悉sql的朋友可以使用hive開脫機的進行資料處理與分析工作。起源於facebook,hive在hadoop中扮演資料倉儲的角色。建立在hadoop集群的最頂層,對儲存在hadoop群上的資料提供類sql的介面進行操作。你可以用 hi...

Hive和HBase的區別

以下 由網上內容 整理 hive是為了簡化編寫mapreduce程式而生的,使用mapreduce做過資料分析的人都知道,很多分析程式除業務邏輯不同外,程式流程基本一樣。在這種情況下,就需要hive這樣的使用者程式設計介面。hive本身不儲存和計算資料,它完全依賴於hdfs和mapreduce,hi...