hbase的儲存體系

2022-05-29 21:45:10 字數 877 閱讀 1193

一、了解hbase的儲存體系。

hbase的儲存體系核心的有split機制,flush機制和compact機制。

1、split機制

每乙個hbase的table表在剛剛開始的時候,只有乙個region,隨著資料的不斷插入到表中,region開始增大,當增大到一定的閥值以後,region就會等分兩個新的region。

當table表中的行數越多,就會有越來越多的region。

region是hbase中分布式儲存和負載均衡的最小單元,相當於hdfs中的block。

2、flush機制

hstore儲存是

hbase

儲存的核心,其中由兩部分組成,

memstore

和storefiles

。memstore

是sorted memory buffer

,使用者寫入的資料首先會寫入

memstore

,就返回了,所以寫效能很高。當

memstore

滿了以後會

flush

成乙個storefile

3、compact機制

當storefile

檔案數量增長到一定閾值,會觸發

compact

合併操作,將多個

storefiles

合併成乙個

storefile

,合併過程中會對

cell

進行版本合併和資料刪除。

hbase的體系架構分析

client 包含訪問hbase的介面並維護cache來加快對hbase的訪問。zookeeper 1 保證集群中只有乙個工作狀態的master 2 儲存所有region的定址入口 3 監控集群中的regionserver,如果有regionserver上線,會通知hmaster 4 儲存hbase...

Hbase的體系架構講解

當表的大小超過設定值的時候,hbase會自動地將表劃分為不同的區域,每個區域包含所有行的乙個子集。對使用者來說,每個表是一堆資料的集合,靠主鍵來區分。從物理上來說,一張表被拆分成了多塊,每一塊就是乙個region。乙個region會儲存乙個表裡面某段連續的資料,從開始主鍵到結束主鍵,一張完整的 是儲...

Hbase的體系結構

包含訪問hbase的介面,並維護表對應的regionserver和region快取實現對hregionserver的快速訪問 master 1 管理集群中所有的regionserver,包括regionserver的負載均衡,regionserver的宕機恢復,region的遷移 2 響應使用者對錶...