HBase作為儲存方案

2021-07-14 01:52:31 字數 885 閱讀 5647

1. 包含訪問hbase的介面,並維護cache來加快對hbase的訪問,比如region的位置資訊。

* zookeeper:

1. 選舉集群中的master,master與regionservers 啟動時會向zookeeper註冊。

2. 儲存所有region的定址入口。

3. 實時監控region server狀態並實時通知master。

4. 儲存hbase的schema和table元資料。

5. 使master不存在單點故障。

* master

1. 在region split後,為region server分配region。

2. 管理hregionserver的負載均衡,調整region分布。

3. 發現失效的region server後重新分配其上的region,並負責regions遷移。。

4. 管理使用者對table的增刪改查操作。

* region server

1. regionserver維護region,處理對這些region的io請求,向hdfs檔案系統讀寫資料。

2. regionserver負責切分在執行過程中變得過大的region。

* region

1. table按照行分割成若干region,每個region對應table中的乙個region。

2. region由多個hstore組成。

* hlog

1. 類似mysql的binlog,資料會先寫到wal上,然後再放到記憶體中,資料恢復。

2. 已經

HBase作為儲存方案

1.包含訪問hbase的介面,並維護cache來加快對hbase的訪問,比如region的位置資訊。zookeeper 1.選舉集群中的master,master與regionservers 啟動時會向zookeeper註冊。2.儲存所有region的定址入口。3.實時監控region server...

Hbase儲存相關

hbase 的儲存機制 region 區域 表上的一塊資料 store 邏輯上的列簇 memstore列簇緩衝區 儲存熱資料 最近瀏覽,更新等操作的資料 region server的工作職責 管理region 和 響應io請求 資料可靠性的體現 1 如果乙個region server掛了 寫日誌 h...

HBase資料儲存

hbase的資料檔案都儲存在hdfs上,格式主要有兩種 hfile hbase中keyvalue資料的儲存格式,hfile是hadoop的二進位制檔案,實際上storefile就是對hfile做了輕量級的包裝,即storefile底層就是hfile hlog file hbase中wal write...