Hbase的體系結構

2021-10-04 17:16:57 字數 1452 閱讀 5933

包含訪問hbase的介面,並維護表對應的regionserver和region快取實現對hregionserver的快速訪問

master

(1)管理集群中所有的regionserver,包括regionserver的負載均衡,regionserver的宕機恢復,region的遷移

(2)響應使用者對錶的各種管理請求,包括ddl,許可權操作、切分表、合併資料分片以及compaction等

(3)清理過期日誌,master會隔一段時間檢查hlog是否過期,hfile是否被刪除,在過期後會被刪除

zookeeper

(1)實現master的高可用,任何時候只有乙個master可用,工作的master掛了後,啟用其它的master

(2)儲存元資料資訊,管理regionservera的集合,儲存系統表hbase:meta的region位址

(3)通過心跳檢測regionserver,如果檢測到regionserver宕機,則通知master處理

(4)分布式鎖,master對錶進行ddl操作時,會加表鎖,先後順序

hlog(wal log)

hlog檔案就是乙個普通的hadoopsequencefile,sequencefile的key是hlogkey物件,hlogkey中記錄了寫入資料的歸屬資訊,除了table和region名字外,同時還包括sequencenumber和timestamp,timestamp是寫入時間,sequencenumber的起始值為0,或者是最近一次存入檔案系統中sequence number

hlogsequecefile的value是hbase的keyvalue物件,即對應hfile中的keyvalue

blockcache

blockcache作為regionserver的讀快取,資料讀取時,先在blockcache中讀取,如果沒有,再在region中讀取,region中讀取的資料也會在blockcache中快取

regionserver

regionserver主要處理使用者的i/o請求,由hlog(預設乙個,可以開啟多個),blockcache,多個region組成

region

region是hbase中分布式儲存和負載均衡的最小單元,最小單元表示不同的region可以分布在不同的regionserver上,單個的region不能放在不同的regionserver上

store

region由多個store組成,乙個store對應乙個列族,乙個store由乙個memstore和多個storefile組成,storefile就是hfile的包裝

memstore

memstore是快取,寫資料時,首先把資料寫到memstor中

hfile

hfile是真正儲存資料的地方,hfile的底層是由hdfs的block組成

HBase體系結構

hbase hbase是apache hadoop的資料庫,基於hdfs檔案系統 random,realtime read write access to big data 開源 分布式 可擴充套件 面向列 larger tables billions of rows x millions of c...

HBase體系結構

hbase的伺服器體系結構遵從簡單的主從伺服器架構,它由hregion伺服器 hregion service 群和hbase master伺服器 hbase master server 構成。hbase master伺服器負責管理所有的hregion伺服器,而hbase中所有的伺服器是通過zooke...

HBase體系結構

hbase hbase是apache hadoop的資料庫,基於hdfs檔案系統 random,realtime read write access to big data 開源 分布式 可擴充套件 面向列 larger tables billions of rows x millions of c...