Hbase中rowkey設計原則

2021-10-24 21:23:58 字數 574 閱讀 2574

1.rowkey長度原則:

(rowkey不宜過長)

建議不要超過16個位元組(若rowkey長度過長,memorystore會將部分快取資料存入記憶體降低記憶體利用率,降低檢索效率,hfile進行資料持久化時也會極大影響儲存效率);

2.rowkey雜湊原則:

設計目標:將資料均勻的分布在每個regionserver,實現負載均衡,避免出現熱點問題

熱點問題解決:

加鹽:在rowkey高幾位隨機生成一些字串

hash取值:對rowkey取雜湊值保證唯一性

反轉:對rowkey進行反轉 例:根據手機號進行話費查詢(反轉查詢)

例項:三大運營商查詢流量及話費

查詢條件:手機號、業務型別、查詢時間

3.rowkey唯一原則

原理:rowkey是按照字典順序排序儲存的,將經常讀取的資料儲存到一塊

Hbase中rowkey設計原則

1.熱點問題 在某一時間段,有大量的資料同時對乙個region進行操作 2.原因 對rowkey的設計不合理 對rowkey的劃分不合理 3.解決方式 rowkey是hbase的讀寫唯一標識 最大長度是64kb。4.核心原則 設計必須按照業務需求進行設計 5.長度原則 經驗 10 100位元組可以 ...

078 Hbase中rowkey設計原則

1.熱點問題 在某一時間段,有大量的資料同時對乙個region進行操作 2.原因 對rowkey的設計不合理 對rowkey的劃分不合理 3.解決方式 rowkey是hbase的讀寫唯一標識 最大長度是64kb。4.核心原則 設計必須按照業務需求進行設計 5.長度原則 經驗 10 100位元組可以 ...

hbase 順序序列rowkey設計

import org.apache.hadoop.hbase.util.bytes import org.apache.hadoop.hbase.util.md5hash public class sequenceidrowkeyhash 暫時想到這種設計方法,可以避免寫入熱點問題,也可以進行預分割...