HBase 2 hbase物理模型結構

2021-09-02 01:43:00 字數 932 閱讀 2752

(1)儲存單元cell:rowkey+列簇+timestamp+version,確定乙個單元格的值 

(2)資料無型別,以位元組碼的形式進行儲存

(1)列分割:table中所有的行都是按照字典序進行排列,可以在行的方向分割為多個region

(2)region是hbase中分布式儲存和負載均衡的最小單元,儲存的最小單元是cell

(3)原來表只有乙個region,當資料量非常大達到一定的條件後。會進行等分操作,劃分為兩個新的region,之後會越來越多。

(4)region分布式儲存的結構

-》region由乙個或者多個store組成,每個store儲存乙個columns family列簇

-》store又由乙個memstore和0至多個storefile組成

memstore是記憶體中劃分的空間,儲存在記憶體中

storefile指的是底層的儲存檔案(儲存在hdfs上的檔案),又叫hfile

/hbase/data         /nstest/student/    86ad8bcce944a691868684916456eb8b   /info    /2c9baee3f6464a0c9f8b79bf2a8ef3c7

rootdir屬性設定 namespace/table region 列簇 storefile

(1)使用者每次寫入資料到hlog檔案中,然後再寫入memstore

(2)寫入成功後才會通知客戶端該操作成功

(3)每個regionserver只有乙個hlog檔案

(4)hlog檔案定期的重新整理,刪除舊的檔案

(5)避免記憶體中丟失資料,可以在日誌檔案中恢復

HBase二 HBase資料模型

hbase是基於google bigtable模型開發的,典型的key value系統 1.hbase schema可以有多個table 2.每個table可由多個column family組成。3.hbase列族中的列可以隨意定義,因為hbase是無模式的。1.byte array 2.表中每條記...

HBase 物理模型 第一節

做etl,設計hbase有段時間了,雖然還是很不成熟,但是有點小小經驗,做個筆記 hbase暫不談他負載均衡,容災效能這堆,只說他在應用上的一些小小經驗作為第一節 先談談rowkey cf cq的設計 keyvalue的結構是 key key length value length row leng...

HBase(02) HBase資料模型

hbase以表的形式儲存資料。表有行和列組成。列劃分為若干個列族 column family hbase表由多行組成。hbase中的一行由乙個行鍵和乙個或多個具有與之關聯的值的列組成。行儲存時,行按字母順序排序。因此,行鍵的設計非常重要。目標是以相關行彼此靠近的方式儲存資料。常見的行鍵模式是 域。如...