HBase 1 HBase介紹和工作原理

2022-02-23 15:45:41 字數 4033 閱讀 2419

hbase是乙個分布式的、面向列的開源資料庫,該技術**於 fay chang 所撰寫的google**「bigtable:乙個結構化資料的分布式儲存系統」。就像bigtable利用了google檔案系統(file system)所提供的分布式資料儲存一樣,hbase在hadoop之上提供了類似於bigtable的能力。hbase是apache的hadoop專案的子專案。hbase不同於一般的關聯式資料庫,它是乙個適合於非結構化資料儲存的資料庫。另乙個不同的是hbase基於列的而不是基於行的模式。

1、hadoop生太圈

通過hadoop生態圈,可以看到hbase的身影,可見hbase在hadoop的生態圈是扮演這乙個重要的角色那就是實時、分布式、高維資料的資料儲存;

2、hbase簡介

– hbase – hadoop database,是乙個高可靠性、高效能、面向列、可伸縮、 實時讀寫的分布式資料庫

– 利用hadoop hdfs作為其檔案儲存系統,利用hadoop mapreduce來處理 hbase中的海量資料,利用zookeeper作為其分布式協同服務

– 主要用來儲存非結構化和半結構化的鬆散資料(列存nosql資料庫)

3、hbase資料模型

以關係型資料的思維下會感覺,上面的**是乙個5列4行的資料**,但是在hbase中這種理解是錯誤的,其實在hbase中上面的**只是一行資料;

row key:

– 決定一行資料的唯一標識

– rowkey是按照字典順序排序的。

– row key最多只能儲存64k的位元組資料。

column family列族(cf1、cf2、cf3) & qualifier列:

– hbase表中的每個列都歸屬於某個列族,列族必須作為表模式(schema) 定義的一部分預先給出。如create 『test』, 『course』;

– 列名以列族作為字首,每個「列族」都可以有多個列成員(column,每個列族中可以存放幾千~上千萬個列);如 cf1:q1, cf2:qw,

新的列族成員(列)可以隨後按需、動態加入,family下面可以有多個qualifier,所以可以簡單的理解為,hbase中的列是二級列,

也就是說family是第一級列,qualifier是第二級列。兩個是父子關係。

– 許可權控制、儲存以及調優都是在列族層面進行的;

– hbase把同一列族裡面的資料儲存在同一目錄下,由幾個檔案儲存。

– 目前為止hbase的列族能能夠很好處理最多不超過3個列族。

timestamp時間戳:

– 在hbase每個cell儲存單元對同乙份資料有多個版本,根據唯一的時間 戳來區分每個版本之間的差異,不同版本的資料按照時間倒序排序,

最新的資料版本排在最前面。

– 時間戳的型別是64位整型。

– 時間戳可以由hbase(在資料寫入時自動)賦值,此時時間戳是精確到毫 秒的當前系統時間。

– 時間戳也可以由客戶顯式賦值,如果應用程式要避免資料版本衝突, 就必須自己生成具有唯一性的時間戳。

cell單元格:

– 由行和列的座標交叉決定;

– 單元格是有版本的(由時間戳來作為版本);

– 單元格的內容是未解析的位元組陣列(byte),cell中的資料是沒有型別的,全部是位元組碼形式存貯。

• 由唯一確定的單元。

4、hbase體系架構

• 包含訪問hbase的介面並維護cache來加快對hbase的訪問

zookeeper

• 保證任何時候,集群中只有乙個master

• 存貯所有region的定址入口。

• 實時監控region server的上線和下線資訊。並實時通知master

• 儲存hbase的schema和table元資料

master

• 為region server分配region

• 負責region server的負載均衡

• 發現失效的region server並重新分配其上的region

• 管理使用者對table的增刪改操作

regionserver

• region server維護region,處理對這些region的io請求

• region server負責切分在執行過程中變得過大的region 

hlog(wal log):

– hlog檔案就是乙個普通的hadoop sequence file,sequence file 的key是 hlogkey物件,hlogkey中記錄了寫入資料的歸屬資訊,

除了table和 region名字外,同時還包括sequence number和timestamp,timestamp是」 寫入時間」,sequence number的起始值為0,

或者是最近一次存入檔案系 統中sequence number。

– hlog sequecefile的value是hbase的keyvalue物件,即對應hfile中的 keyvalue

region

– hbase自動把錶水平劃分成多個區域(region),每個region會儲存乙個表 裡面某段連續的資料;每個表一開始只有乙個region,隨著資料不斷插 入錶,

region不斷增大,當增大到乙個閥值的時候,region就會等分會 兩個新的region(裂變);

– 當table中的行不斷增多,就會有越來越多的region。這樣一張完整的表 被儲存在多個regionserver上。

memstore 與 storefile

– 乙個region由多個store組成,乙個store對應乙個cf(列族)

– store包括位於記憶體中的memstore和位於磁碟的storefile寫操作先寫入 memstore,當memstore中的資料達到某個閾值,

hregionserver會啟動 flashcache程序寫入storefile,每次寫入形成單獨的乙個storefile

– 當storefile檔案的數量增長到一定閾值後,系統會進行合併(minor、 major compaction),在合併過程中會進行版本合併和刪除工作 (majar),

形成更大的storefile。

– 當乙個region所有storefile的大小和超過一定閾值後,會把當前的region 分割為兩個,並由hmaster分配到相應的regionserver伺服器,實現負載均衡。

– 客戶端檢索資料,先在memstore找,找不到再找storefile

– hregion是hbase中分布式儲存和負載均衡的最小單元。最小單元就表 示不同的hregion可以分布在不同的hregion server上。

– hregion由乙個或者多個store組成,每個store儲存乙個columns family。

– 每個strore又由乙個memstore和0至多個storefile組成。

如圖:storefile 以hfile格式儲存在hdfs上。

HBase 1 HBase介紹和工作原理

hbase是乙個分布式的 面向列的開源資料庫,該技術 於 fay chang 所撰寫的google bigtable 乙個結構化資料的分布式儲存系統 就像bigtable利用了google檔案系統 file system 所提供的分布式資料儲存一樣,hbase在hadoop之上提供了類似於bigta...

hbase目錄介紹

hbase tmp 臨時目錄,當對表做建立和刪除操作時,會將表move到該目錄下,然後進行操作。hbase wals regionserver在處理資料插入和刪除的過程中記錄操作內容的一種日誌,在0.94叫.logs hbase data 預設情況下該目錄下有兩個目錄 hbase data defa...

和hbase對映 hbase整合hive

hive提供了與hbase的整合,是的能夠在hbase表上使用hive sql語句進行查詢 插入操作以及進行join和union等複雜查詢 同時也可以將hive表中的資料對映到hbase中。當我們在使用hive時候,在資料量多的時候就會發現非常的慢,乙個簡單的sql都要半天,其實我們追尋他的原因很簡...