HBase資料的讀寫流程

1、hbase資料寫入流程

1、客戶端訪問zookeeeper，從meta表中得到寫入資料對應的region資訊和相應的region伺服器。

2、客戶端訪問相應的region伺服器，把資料分別寫入hlog和memstore。memstore資料容量有限，當達到乙個閾值後，則把資料寫入磁碟檔案storefile中，在hlog檔案中寫入乙個標記，表示memstore快取中的資料已被寫入storefile中。如果memtore中的資料丟失，則可以從hlog上恢復。

3、當多個storefile檔案達到閾值後，會觸發store.compact()將多個storefile檔案合併為乙個大檔案。

1、客戶端先訪問zookeeper，從meta表讀取region資訊對應的伺服器。

2、客戶端向對應region伺服器傳送讀取資料的請求，region接受請求後，先從memstore查詢資料；如果沒有，再到storefile上讀取資料，然後將資料返回給客戶端。

HBase資料的讀寫流程

hbase 的核心模組是 region 伺服器。region 伺服器由多個 region 塊構成，region 塊中儲存一系列連續的資料集。region 伺服器主要構成部分是 hlog 和 region 塊。hlog 記錄該 region 的操作日誌。region 物件由多個 store 組成，每個...

HBase讀寫資料流程

hbase的系統表 hbase namespace 儲存了hbase中的所有namespace的資訊 hbase meta 儲存了hbase中所有的region的資訊，包括rowkey範圍，region所在的regionserver的位址。hbase meta 在zookeeper中，進入zooke...

HBase讀寫資料流程

客戶端現在要插入一條資料，rowkey r000001,這條資料應該寫入到table表中的那個region中呢？1 客戶端要連線zookeeper,從zk的 hbase 節點找到 hbase meta 表所在的regionserver host port 2 regionserver 掃瞄 hbas...