HBASE元資料及資料讀取過程

2021-07-03 21:24:11 字數 1023 閱讀 7121

一,    基於hbase0.98版本的hbase元資料資訊

檢視通過 zk檢視hbase的元資料資訊,可以能過目錄看出來無資料資訊較以前的版本有較大的改動,現在已經沒有了root-region-server的資訊。

get /hbase/meta-region-server

可以看出元資料表的region在172.16.73.68:60020的region server上

二,    基於hbase0.94版本的hbase元資料資訊-meta表內容檢視

從元資料表的內容可以看到,目前hbase中共有三個資料表,hbase:namespace,newsaction,useraction,其它hase:namespace是許可權控制用。

newsaction,useraction是使用者建立的兩個表。每個表都乙個列簇(into),每個列簇有四個列(regioninfo,seqnumduringopen,server,serverstartcode)

以newsaction為例,目前只有乙個region,放在172.16.73.194:60020這個regionserver上管理。regioninfo裡面的startkey,endkey是空,主要是因為目只有乙個region還沒有過region**。

三,    現在查詢的過程

從zookeeper上獲取meta-region-server的在的regionserver,連線regionserver獲取管理要讀取資料表的regioninfo,根據起始行鍵找到value所在的regionserver.over。

HBASE 讀取資料 優化

1 設定scan快取 scan.setcaching 1000 定義一次互動從服務端傳輸到客戶端的行數 2 顯示的指定列 scan.addcolumn cf,column 只獲取需要的列,減少傳輸的資料量,減少io的消耗 3 使用完resultscanner後關閉,否則可能出現一段時間內服務端一致儲...

hbase資料讀取優化 HBase效能優化 總結篇

1 hbase.hregion.max.filesize應該設定多少合適 預設值 256m 說明 maximum hstorefile size.if any one of a column families hstorefiles has?grown to exceed this value,th...

hbase寫資料 和 讀資料過程

一 獲取region儲存位置資訊 寫資料和讀資料一般都會獲取hbase的region的位置資訊。大概步驟為 1 從zookeeper中獲取.root.表的位置資訊,在zookeeper的儲存位置為 hbase root region server 2 根據.root.表中資訊,獲取.meta.表的位...