HBASE架構中各元件的功能作用

2021-09-03 02:18:18 字數 1772 閱讀 5023

一、hbase結構圖

二、hbase架構中的客戶端client

客戶端有以下幾點作用:

1. 整個hbase集群的訪問入口;

2. 使用hbase rpc機制與hmaster和hregionserver進行通訊;

3. 使用hmaster進行通訊進行管理類操作;

4. 與hregionserver進行資料讀寫類操作;

5. 包含訪問hbase的介面,並維護cache來加快對hbase的訪問。

三、協調服務元件zookeeper

zookeeper的作用如下:

1. 保證任何時候,集群中只有乙個hmaster;

2. 儲存所有的hregion的定址入口;

3. 實時監控hregionserver的上線和下線資訊,並實時通知給hmaster;

4. 儲存hbase的schema和table元資料;

5. zookeeper quorum儲存-root-表位址、hmaster位址。

四、主節點hmaster

hmaster的主要功能如下:

1. hmaster沒有單節點問題,hbase中可以啟動多個hmaster,通過zookeeper的master election機制保證總有乙個master在執行,主要負責table和region的管理工作。

如何啟動多個hmaster?

2. 管理使用者對錶的增刪改查操作;

3. 管理hregionserver的負載均衡,調整region分布(在命令列裡面有乙個tools,tools這個分組命令其實全部都是master做的事情);

4. region split後,負責新region的分布;

5. 在hregionserver停機後,負責失效hregionserver上region遷移工作。

五、region節點hregionserver

hregionserver的功能如下:

1. 維護hregion,處理hregion的io請求,向hdfs檔案系統中讀寫資料;

2. 負責切分執行過程中變得過大的hregion;

3. client訪問hbase上資料的過程並不需要master參與(定址訪問zookeeper和hregionserver,資料讀寫訪問hregionserver),hmaster僅僅維護著table和region的元資料資訊,負載很低。

六、hbase與zookeeper的關係

1. hbase依賴zookeeper

首先hmaster和regionserver都需要和zookeeper互動,因為regionserver上線了還需要互動,之後zookeeper知道了告訴hmaster,而下線或斷開了zookeeper知道了也告訴hmaster;同時hmaster還管理regionserver,hmaster還會在hdfs上寫region資料。

2. 預設情況下,hbase管理zookeeper例項,比如,啟動或者停止zookeeper;

3. hmaster與hregionserver啟動時會向zookeeper註冊;

4. zookeeper的引入使得hmaster不再是單點故障。

Tomcat中各元件介紹

xml配置檔案結構 頂層類元素 乙個配置檔案中只能有乙個元素,可包含多個service。頂層類元素 本身不是容器,可包含乙個engine,多個connector。聯結器類元素 代表通訊介面。容器類元素 為特定的service元件處理所有客戶請求,可包含多個host。容器類元素 為特定的虛擬主機處理所...

springcloud中各元件彙總

a 服務註冊中心 eureka x zookeeper,consul,nacos b 服務呼叫 ribbon,loadbanlancer,feign x openfeign c 服務熔降級 hystrix x resilience4j,sentinel 阿里 d 服務閘道器 zuul x zuul2...

Spring Cloud 各元件之間的關係

每個元件都不是平白無故的產生的,是為了解決某一特定的問題而存在。eureka和ribbon,是最基礎的元件,乙個註冊服務,乙個消費服務。hystrix為了優化ribbon 防止整個微服務架構因為某個服務節點的問題導致崩潰,是個保險絲的作用。dashboard給hystrix統計和展示用的,而且監控服...