Hbase中rowkey設計原則

1.熱點問題

在某一時間段，有大量的資料同時對乙個region進行操作

2.原因

對rowkey的設計不合理

對rowkey的劃分不合理

3.解決方式

rowkey是hbase的讀寫唯一標識

最大長度是64kb。

4.核心原則

設計必須按照業務需求進行設計

5.長度原則

經驗：10~100位元組可以

官方：16位元組，因為作業系統時8位元組進行儲存

6.雜湊原則

劃分region是按照rowkey的頭部進行劃分。

有幾種方式：

）組合字段

id+timestamp

）反轉rowkey

7.唯一原則

是索引的唯一依據

8.經驗操作

經常講需要查詢的字段整合到rowkey，提高查詢速度。

1.熱點問題

在某一時間段，有大量的資料同時對乙個region進行操作

2.原因

對rowkey的設計不合理

對rowkey的劃分不合理

3.解決方式

rowkey是hbase的讀寫唯一標識

最大長度是64kb。

4.核心原則

設計必須按照業務需求進行設計

5.長度原則

經驗：10~100位元組可以

官方：16位元組，因為作業系統時8位元組進行儲存

6.雜湊原則

劃分region是按照rowkey的頭部進行劃分。

有幾種方式：

）組合字段

id+timestamp

）反轉rowkey

7.唯一原則

是索引的唯一依據

8.經驗操作

經常講需要查詢的字段整合到rowkey，提高查詢速度。

Hbase中rowkey設計原則

1.rowkey長度原則 rowkey不宜過長 建議不要超過16個位元組 若rowkey長度過長，memorystore會將部分快取資料存入記憶體降低記憶體利用率，降低檢索效率，hfile進行資料持久化時也會極大影響儲存效率 2.rowkey雜湊原則 設計目標 將資料均勻的分布在每個regionse...

078 Hbase中rowkey設計原則

1.熱點問題 在某一時間段，有大量的資料同時對乙個region進行操作 2.原因 對rowkey的設計不合理 對rowkey的劃分不合理 3.解決方式 rowkey是hbase的讀寫唯一標識 最大長度是64kb。4.核心原則 設計必須按照業務需求進行設計 5.長度原則 經驗 10 100位元組可以 ...

hbase 順序序列rowkey設計

import org.apache.hadoop.hbase.util.bytes import org.apache.hadoop.hbase.util.md5hash public class sequenceidrowkeyhash 暫時想到這種設計方法，可以避免寫入熱點問題，也可以進行預分割...