大資料培訓紀實 HBase知識點集中總結

2021-09-24 09:47:58 字數 1435 閱讀 9792

hbase – hadoop database,是乙個高可靠性、高效能、面向列、可伸縮的分布式儲存系統,利用hbase技術可在廉價pc server上搭建起大規模結構化儲存集群。

與fujitsu cliq等商用大資料產品不同,hbase是google bigtable的開源實現,類似google bigtable利用gfs作為其檔案儲存系統,hbase利用hadoop hdfs作為其檔案儲存系統;google執行mapreduce來處理bigtable中的海量資料,hbase同樣利用hadoop mapreduce來處理hbase中的海量資料;google bigtable利用 chubby作為協同服務,hbase利用zookeeper作為對應。

一、hbase的特性

2、hbase的資料增刪改查功能模組是分布式系統。

3、nosql資料庫,表結構。

二、hbase的儲存

hbase中的所有資料檔案都儲存在hadoop hdfs檔案系統上。

1. hfile, hbase中keyvalue資料的儲存格式,hfile是hadoop的二進位制格式檔案,實際上storefile就是對hfile做了輕量級包裝,即storefile底層就是hfile。

2. hlog file,hbase中wal(write ahead log) 的儲存格式,物理上是hadoop的sequence file。

三、hbase工作機制

hbase工作機制詳細解析:

1、hbase的整體工作機制是接受客戶端發來的請求命令,從hdfs中讀取表檔案資訊返回給客戶端;

2、每個hbase伺服器負責表檔案中對應region區域,hdfs上表檔案的儲存也是分為每個region單獨儲存,每個region中又分為多個列族儲存;

3、hbase集群中有兩種角色,regionserver和master,regionserver負責響應客戶端請求,讀取表檔案;

master負責監控regionserver的狀態,以便及時處理掉線的regionserver,保證hbase集群正常執行;當乙個region掛掉時,master會及時監控到,這裡利用了zookeeper管理regionserver狀態資訊。

當乙個master掛掉時,不會影響客戶端查資料,但如果此時regionserver掛掉,master又不能及時監控到,便會影響資料查詢;解決方法就是再設定一台master,一台active狀態,一台standby狀態用作備用,當active的master掛掉,standby的master將會變為active狀態,監控regionserver。

4、master和zookeeper就組成了高可用。

推薦閱讀文章

大資料高階班獨家解析 hadoop五大節點

大資料高階班划重點 hadoop常用四大模組檔案

大資料培訓紀實:hbase知識點集中總結

好程式設計師大資料培訓分享 HBase知識點集中總結

hfile,hbase中keyvalue資料的儲存格式,hfile是hadoop的二進位制格式檔案,實際上storefile就是對hfile做了輕量級包裝,即storefile底層就是hfile。hlog file,hbase中wal write ahead log 的儲存格式,物理上是hadoop...

HBase知識點總結

易擴充套件 高併發hbase hmaster hregionserver 負責storefile的合併 hlog 儲存在hdfs hregion store mem store storefile hfile client 其他元件 create user info data create user...

大資料學習知識點

檔案儲存 hadoop hdfs tachyon kfs 離線計算 hadoop mapreduce spark 流式 實時計算 storm spark streaming s4 heron k v nosql 資料庫 hbase redis mongodb 資源管理 yarn mesos 日誌收集...