hive,hbase,impala之間的對比詳解

2021-10-04 10:15:26 字數 981 閱讀 4366

hbase在三者中更注重的是儲存,它實現了類似mysql的double write機制,但是它是一種nosql的資料庫,並且是可以支援列式儲存的,算是比較大的乙個記憶體hash表。hbase也採用了類似mysql中的mvcc的思想通過時間戳來做版本控制。

hbase是在hdfs基礎之上的,可以算是資料的一種組織方式,是一種基於hadoop的分布式資料庫系統。從資料庫的角度來說,與mysql處在同乙個層次,都是基於檔案系統之上的管理資料的一種方法。

hbase作為面向列的資料庫,支援按列讀取和行讀取,並解決了關係型資料庫的分表的一些需求,如:關係型資料庫中有些表的列重複資料太多了,需要重新建表來存重複列的資料,減少表的大小。

hive和impala則更偏向於查詢分析,impala需要依賴hive的元資料,它們都有自己的查詢分析引擎,只是impala是純查詢分析引擎。

hive 本身並不執行任務的分析過程,而是推給了mapreduce,這點與impala大不同,hive本身提供了資料的格式化輸出功能,但是hive轉換的mr可能不是最高效的,調優方式有限,很多複雜的演算法沒有辦法表達,畢竟sql的語義表達能力有限。

hive與impala在查詢分析這部分,hive明顯的支援程度要比impala高,提供了很多內部函式,並且支援udaf,udf的方式

從資料庫特性角度來看,hive與hbase的對比,hive不能修改資料,只能追加的方式,hbase允許增加和刪除資料,hive不支援索引,impala和hive都是沒有儲存引擎的,hbase算是有自己的儲存引擎。

在使用層面上來看,hive在使用上更像資料庫,它提供非常豐富的系統函式,各種資料的操作,hbase在這方面就不太像一般的關係型資料庫,它還是乙個key-val的nosql,這方面的操作支援很有限,impala在這方面也是比較弱。

你好! 這是你第一次使用markdown編輯器所展示的歡迎頁。如果你想學習如何使用markdown編輯器, 可以仔細閱讀這篇文章,了解一下markdown的基本語法知識。

zbar和zxing之間的對比

zbar移植的是c原始碼,zxing移植的是c 兩者對比 1.zxing支援更多的碼制 datamatix pdf417 等,zbar不能很好支援pdf417 但是在原始碼中有對於pdf417碼處理 3.zbar和zxing 兩者都不能 很好的支援 條碼掃瞄,在攝像頭解析度低,目標條碼列印在曲面上或...

MVC和MVVM之間的對比

概述 m model模型 資料存放的地方是model,可以理解為直接跟資料庫打交道的,可以獲取從資料庫獲取資料,也可以將資料上傳給資料庫,主要處理資料的crud,而使用資料的是controller v view檢視 應用程式中處理資料顯示的部分 c controller控制器 業務邏輯層 應用程式中...

MyISAM與InnoDB索引實現對比詳解

myisam索引實現 這裡設表一共有三列,假設我們以col1為主鍵,則上圖是乙個myisam表的主索引 primary key 示意。可以看出myisam的索引檔案僅僅儲存資料記錄的位址。在myisam中,主索引和輔助索引 secondary key 在結構上沒有任何區別,只是主索引要求key是唯一...