HBase Rowkey 設計指南

2022-01-17 05:27:52 字數 2881 閱讀 4956

我們常說看一張 hbase 表設計的好不好,就看它的 rowkey 設計的好不好。可見 rowkey 在 hbase 中的地位。

那麼 rowkey 到底是什麼?rowkey 的特點如下:

如果我們的 rowkey 設計為 uid+phone+name,那麼這種設計可以很好的支援以下的場景:

難以支援的場景:

hbase 表的資料是按照 rowkey 來分散到不同 region,不合理的 rowkey 設計會導致熱點問題

熱點問題是大量的 client 直接訪問集群的乙個或極少數個節點,而集群中的其他節點卻處於相對空閒狀態。

如上圖,region1 上的資料是 region 2 的5倍,這樣會導致 region1 的訪問頻率比較高,進而影響這個 region 所在機器的其他 region。

我們如何避免上面說到的熱點問題呢?這就是這章節談到的三種方法。

這裡的加鹽不是密碼學中的加鹽,而是在rowkey

的前面增加隨機數。具體就是給 rowkey 分配乙個隨機字首 以使得它和之前排序不同。

分配的字首種類數量應該和你想使資料分散到不同的

中,加鹽是很有用的。

考慮下面的例子:它將寫請求分散到多個 regionservers,但是對讀造成了一些負面影響。

假如你有下列 rowkey,你表中每乙個 region 對應字母表中每乙個字母。

以 'a' 開頭是同乙個region, 'b'開頭的是同乙個region。

在表中,所有以 'f'開頭的都在同乙個 region, 它們的 rowkey 像下面這樣:

foo0001

foo0002

foo0003

foo0004

現在,假如你需要將上面這個 region 分散到 4個 region。你可以用4個不同的鹽:'a', 'b', 'c', 'd'.

在這個方案下,每乙個字母字首都會在不同的 region 中。加鹽之後,你有了下面的 rowkey:

a-foo0003

b-foo0001

c-foo0004

d-foo0002

所以,你可以向4個不同的 region 寫。

理論上說,如果這四個 region 存放在不同的機器上,經過加鹽之後你將擁有之前4倍的吞吐量。

現在,如果再增加一行,它將隨機分配a,b,c,d中的乙個作為字首,並以乙個現有行作為尾部結束:

a-foo0003

b-foo0001

c-foo0003

c-foo0004

d-foo0002

因為分配是隨機的,所以如果你想要以字典序取回資料,你需要做更多工作。

加鹽這種方式增加了寫時的吞吐量,但是當讀時有了額外代價。

hashing 的原理是計算 rowkey 的 hash 值,然後取 hash 的部分字串和原來的 rowkey 進行拼接。

這裡說的 hash 包含 md5、sha1、sha256或sha512等演算法。

比如我們有如下的 rowkey:

foo0001

foo0002

foo0003

foo0004

我們使用 md5 計算這些 rowkey 的 hash 值,然後取前 6 位和原來的 rowkey 拼接得到新的 rowkey:

95f18cfoo0001

6ccc20foo0002

b61d00foo0003

1a7475foo0004

優缺點:可以一定程度打散整個資料集,但是不利於 scan;

比如我們使用 md5 演算法,來計算rowkey的md5值,然後擷取前幾位的字串。substring(md5(裝置id), 0, x) + 裝置id,其中x一般取5或6。

reversing 的原理是反轉一段固定長度或者全部的鍵。

比如我們有以下 url ,並作為 rowkey:

flink.iteblog.com

www.iteblog.com

carbondata.iteblog.com

def.iteblog.com

這些 url 其實屬於同乙個網域名稱,但是由於前面不一樣,導致資料不在一起存放。我們可以對其進行反轉,如下:

moc.golbeti.knilf

moc.golbeti.www

moc.golbeti.atadnobrac

moc.golbeti.fed

經過這個之後,這些 url 的資料就可以放一起了。

rowkey 可以是任意的字串,最大長度64kb(因為 rowlength 佔2位元組)。

建議越短越好,原因如下:

查詢某個使用者的使用者畫像資料

其中 prefix = substr(md5(uid),0 ,x), x 取 5-6。uid、idcard以及 tele 分別表示使用者唯一識別符號、身份證、手機號碼。

查詢使用者最新的操作記錄或者查詢使用者某段時間的操作記錄,rowkey 設計如下:

uid + long.max_value - timestamp

支援的場景

HBase Rowkey 設計指南

文章目錄 2 rowkey設計技巧 3 rowkey 設計案例剖析 我們常說看一張 hbase 表設計的好不好,就看它的 rowkey 設計的好不好。可見 rowkey 在 hbase 中的地位。那麼 rowkey 到底是什麼?rowkey 的特點如下 如果我們的 rowkey 設計為 uid ph...

案例篇 HBase RowKey 設計指南

1.為什麼 rowkey 這麼重要 1.1 rowkey 到底是什麼 我們常說看一張 hbase 表設計的好不好,就看它的 rowkey 設計的好不好。可見 rowkey 在 hbase 中的地位。那麼 rowkey 到底是什麼?rowkey 的特點 如下 類似於 mysql oracle 中的主鍵...

HBase RowKey設計原則

對於關係型資料庫,資料定位可以理解為 二維座標 但是hbase中需要四維來定位乙個單元格,即 行健 列族 列限定符 時間戳 hbase中的行是按照rowkey的字典順序排序的,這種設計優化了scan操作,可以將相關的行以及會被一起讀取的行訪問在臨近位置,便於scan。然而糟糕的rowkey設計是熱點...