Hbase原理與架構

2021-08-07 13:29:28 字數 1477 閱讀 5633

1、 client向hregionserver傳送寫請求。

2、 hregionserver將資料寫到hlog(write ahead log)。為了資料的持久化和恢復。

3、 hregionserver將資料寫到記憶體(memstore)

4、 反饋client寫成功。

1、 當memstore資料達到閾值(預設是128m),將資料刷到硬碟,將記憶體中的資料刪除,同時刪除hlog中的歷史資料。

2、 並將資料儲存到hdfs中。

3、 在hlog中做標記點。

1、 當資料塊達到4塊,hmaster將資料塊載入到本地,進行合併

2、 當合併的資料超過256m,進行拆分,將拆分後的region分配給不同的hregionserver管理

3、 當hregionser宕機後,將hregionserver上的hlog拆分,然後分配給不同的hregionserver載入,修改.meta.

4、 注意:hlog會同步到hdfs

1、 通過zookeeper和-root- .meta.表定位hregionserver。

2、 資料從記憶體和硬碟合併後返回給client

3、 資料塊會快取

1、管理使用者對table的增、刪、改、查操作;

2、記錄region在哪台hregion server上

3、在region split後,負責新region的分配;

4、新機器加入時,管理hregion server的負載均衡,調整region分布

5、在hregion server宕機後,負責失效hregion server 上的regions遷移。

hregion server主要負責響應使用者i/o請求,向hdfs檔案系統中讀寫資料,是hbase中最核心的模組。

hregion server管理了很多table的分割槽,也就是region。

client

hbase client使用hbase的rpc機制與hmaster和regionserver進行通訊

管理類操作:client與hmaster進行rpc;

資料讀寫類操作:client與hregionserver進行rpc。

hlog

------------

wal : 預寫日誌,容錯。

每個regionserver對應乙個hlog。

表級檔案

-------------------

/hbase/data/ns1/t1/.tabledesc/.tableinfo.0000000001存放表結構資訊。

區域級檔案

-------------------

/hbase/data/ns1/t1/b07e67c29765481f438c13e87ce203e4

Hbase原理系列 架構

體系圖 1.client向hregionserver傳送寫請求。2.hregionserver將資料寫到hlog write ahead log 為了資料的持久化和恢復。3.hregionserver將資料寫到記憶體 memstore 4.反饋client寫成功。1.當memstore資料達到閾值 ...

HBase表的架構原理

hbase總體架構圖 hbase table的基本單位是region,乙個table相應多個region。table層級關係例如以下 table hbase table region regions for the table store store per columnfamily for eac...

HBASE部分 HBASE的架構

hbase的架構 包含訪問hbase的介面並維護cache來加快對hbase的訪問 zookeeper 保證任何時候,集群中只有乙個master 存貯所有region的定址入口。實時監控region server的上線和下線資訊。並實時通知master 儲存hbase的schema和table元資料...