HBase資料模型設計

2021-10-06 01:13:43 字數 801 閱讀 7860

有個這樣的需求,我的hbase乙個表對應乙個省份人群資訊(儲存該省份的所有人群手機號碼),需要在5分鐘內能將全省的資料入庫到hbase中。其中該錶設計如下:

其中rowkey:基站標識+時間(yyyymmdd)

columnfamily:peofamily;

column:00/05/10/15...(每5分鐘時間片),一條rowkey對應12個列,即1小時有12個5分鐘

value:用逗號分隔的手機號碼(該字串大概有10w個**號碼)

family

rowkey(hashid+基站標識1+時間(yyyymmdd))

0005

1015

....

abaefgadilddd13131lac001ci0012020042421

13900000000,13900000001,13900000002,...

......

......

aeasfeolkmpar13131lac001ci0012020042422

13900000005,13900000006,13900000007,...

......

....

...

rowkey設計,滿足業務通過基站+時間查詢具體小時分鐘時間片人群詳情。

cloumn設計,標識5分鐘時間片資料

value設計,目前該設計是沒有設計的設計很low,可以考慮將value值壓縮,或者存放對應的hfile鏈結(或者偏移量),將實際人群詳情存放hdfs。

目前想通過其它設計方式重構該錶,尤其是value值設計,歡迎各位大神指導!

hbase資料模型

與nosql資料庫們一樣,rowkey是用來檢索記錄的主鍵。訪問hbase table中的行 訪問方式 a.通過單個row key訪問,b.通過row key的range 正則 c.全表掃瞄,rowkey是任意字串,最大長度 是 64kb,實際應用中長度一般為 10 100bytes,hbase內部...

Hbase資料模型

hbase 以表的形式儲存資料。表由行和列族組成。列劃分為若干個列族 row family 其邏輯檢視如下 幾個關鍵概念 1 行鍵 rowkey 行鍵是位元組陣列,任何字串都可以作為行鍵 表中的行根據行鍵進行排序,資料按照 row key 的位元組序 byte order 排序 儲存 所有對錶的訪問...

hbase資料模型

與nosql資料庫一樣,row key是用來檢索記錄的主鍵。訪問hbase table中的行,只有三種方式 1.通過單個row key訪問 2.通過row key的range 正則 3.全表掃瞄 row key行鍵 row key 可以是任意字串 最大長度 是 64kb,實際應用中長度一般為 10 ...