黑猴子的家 HBase 寫資料流程

2021-08-30 08:44:13 字數 444 閱讀 2794

1、client也是先訪問zookeeper,找到meta表,並獲取meta表資訊。

2、確定當前將要寫入的資料所對應的regionserver伺服器和region。

3、client向該regionserver伺服器發起寫入資料請求,然後regionserver收到請求並響應。

4、client先把資料寫入到hlog,以防止資料丟失。

5、然後將資料寫入到memstore。

6、如果hlog和memstore均寫入成功,則這條資料寫入成功。在此過程中,如果memstore達到閾值,會把memstore中的資料flush到storefile中。

7、當storefile越來越多,會觸發compact合併操作,把過多的storefile合併成乙個大的storefile。當storefile越來越大,region也會越來越大,達到閾值後,會觸發split操作,將region一分為二。

HBase之寫資料流程

1.客戶端訪問zookeeper獲取hbase meta表所在的regionserver資訊。2.與對應regionserver通訊,獲取meta表,根據寫請求引數查詢出應寫入到哪個regionserver中的哪個region中,把該錶的region資訊和meta表的位置資訊儲存在客戶端本地meta...

Hbase寫資料流程詳解

客戶端client 通過zookeeper 獲知meta表所在的節點,又通過table和rowkey在meta表中找到 要進行操作的region的節點 進行傳送請求,請求先追加寫入wal日誌中,然後資料寫入到對應的memstore中 並在 進行排序 之後regionserver會返回ack進行核對。...

黑猴子的家 HBase 的架構

hbase一種是作為儲存的分布式檔案系統,另一種是作為資料處理模型的mr框架。因為日常開發人員比較熟練的是結構化的資料進行處理,但是在hdfs直接儲存的檔案往往不具有結構化,所以催生出了hbase在hdfs上的操作。如果需要查詢資料,只需要通過鍵值便可以成功訪問。架構圖如下圖所示 hbase內建有z...