HBase 中 HRegion 切分注意事項

2021-09-11 01:22:40 字數 451 閱讀 6450

當乙個表過大, 即 hregion 過大的時候, 會進行切分, 將 hregion 根據 rowkey 一分為二, 包括其中的所有 store 以及 hregionserver 中的 hlog, 因為被分開的 hregion 部分有可能會交給其他的 hregionserver 維護.

乙個 hregion 可以有多個 store, 即乙個表可以有多個列族,

但是官方建議一張表只有乙個列族, 因為 hbase 表的稀疏性, 如果多個列族中的資料量相差過大, 例如, 列族 a 有 5000 條資料, 列族 b 有 50 條資料, 那麼觸發切分的時候, 列族 b 就會產生小檔案, 如果有多個列族, 每乙個 store 都會產生乙個檔案, 那麼就可能有多個小檔案產生, 而觸發合併時, 是在每個 store 內進行合併, 多個 store 之間並不會進行合併.

所以每一張表最好只有乙個列族, 這樣可以有效避免小檔案的產生, 也是優化的方式之一.

hbase中刪除表中的行鍵 HBase 開始執行

執行hbase 保證hdfs第一次執行,你需要通過在hadoop home目錄中執行bin start hdfs.sh來啟動和停止hadoop hdfs守護程序。你確保它正確啟動的方法是通過在 hadoop 檔案系統中測試檔案的put和get。hbase通常不使用mapreduce或yarn守護程序...

HBase中批量修改

先隨便寫寫.做個隨筆記錄 使用rest連線操作hbase.是微軟提供的 microsoft.hbase.client 類庫.版本是0.4.1.0 一直知道 client.storecellsasync 方法是可以新增也可以覆蓋已有資料.其實不是這麼簡單.機緣巧合下測試發現修改一次只能修改100條資料...

Go中字串切分與組合

1.go 中主要使用 strings.split 對指定分隔符進行分割存放在slice裡,然後可以通過range 遍歷取值 2.可以使用 strings.join 對slice用指定符號拼接組合一起 3.使用 strconv.itoa可以把數字轉化為字串 直接擼 func teststringfn ...