HBase 表名及設計規則

2021-09-21 17:30:03 字數 340 閱讀 8549

表名設計規則一般為:彙總層標識+資料域+主維度+時間維度

例如:dws_trd_slr_dtr,表示彙總層交易資料,根據賣家(slr)主維度+0點截止當日(dtr)進行統計彙總。

這樣做的好處是,所有主維度相同的資料都放在一張物理表中,避免表數量過多,難以維護。另外,可以從表名上直觀地看到儲存的是什麼資料內容,方便排查問題。

設計規則:md5+主維度+維度標識+子維度1+時間維度+子維度2

以md5前四位作為rowkey的第一部分,可以把資料雜湊,讓伺服器整體負載是均衡的,避免熱點問題。在上面的例子中,賣家id屬於主維度,在查資料時是必傳的。每個統計維度都會生成乙個維度標識,以便在rowkey上做分割槽。

hbase 修改表名 Hbase關鍵演算法

region定位 系統如何找到某個row key 或者某個 row key range 所在的region bigtable 使用三層類似b 樹的結構來儲存region位置。第一層是儲存zookeeper裡面的檔案,它持有root region的位置。第二層root region是.meta.表的第...

Hbase指定規則掃瞄表

1.建立乙個scan掃瞄物件 2.scan物件中有setstartrow方法和setstoprow方法,分別指向開始掃瞄的rowkey和結束掃瞄的rowkey 3.scan物件中的addcolumn方法指向所要查詢的列簇中的某個列 要注意點是在指向同一列簇中的列時,要按照字典順序指定,如果跳著指定則...

HBase中rowkey及建表方式設計

rowkey及建表方式設計 舊 場景 單次查詢條件 查詢 方式 rowkey設計 建表 存在的問題 指標牆時間 地域 指標都固定 get指標 時間 子region 三種場景乙個表 第一種場景沒問題 指標分析 地域 指標固定 時間範圍查詢 scan 過濾器 scan後有大量的資料需要過濾 多達數十萬以...