hbase資料加鹽讀取(spark篇)

2022-09-04 05:57:07 字數 362 閱讀 9489

未加鹽資料:spark可以使用inputformat、outputformat來讀寫hbase表。

加鹽以後:需要在rowkey之前加一些字首,否則是查不到資料的。

1)我們需要重新寫getsplits方法:從名字我們可以知道是要計算有多少個splits。在hbase中,乙個region對用乙個split,對應於tablesplit實現類。

tablesplit的構造需要傳入startrow和endrow。

2)我們可以通過regionlocator 的 getstartendkeys()拿到某張表所有 region 的 startkeys 和 endkeys 的,然後將拿到startkey和使用者傳進來的startrow和endrow進行拼接。 

HBASE 讀取資料 優化

1 設定scan快取 scan.setcaching 1000 定義一次互動從服務端傳輸到客戶端的行數 2 顯示的指定列 scan.addcolumn cf,column 只獲取需要的列,減少傳輸的資料量,減少io的消耗 3 使用完resultscanner後關閉,否則可能出現一段時間內服務端一致儲...

hbase資料讀取優化 HBase效能優化 總結篇

1 hbase.hregion.max.filesize應該設定多少合適 預設值 256m 說明 maximum hstorefile size.if any one of a column families hstorefiles has?grown to exceed this value,th...

HBASE元資料及資料讀取過程

一,基於hbase0.98版本的hbase元資料資訊 檢視通過 zk檢視hbase的元資料資訊,可以能過目錄看出來無資料資訊較以前的版本有較大的改動,現在已經沒有了root region server的資訊。get hbase meta region server 可以看出元資料表的region在1...