Hadoop YARN各個元件和流程的學習

2021-09-12 04:25:21 字數 1143 閱讀 1675

[size=x-large][color=red][b]一、基本組成結構[/b][/color][/size]

* 集群唯一的resourcemanager

* 每個機器節點上的nodemanager

[color=blue][b]* 執行在每個nodemanager上針對某個任務的container[/b][/color]

[size=large][b]1. resourcemanager[/b][/size]

[color=blue][b]負責對各個 nodemanager 上的資源進行統一管理和排程。[/b][/color]

包含兩個元件:

[b]* scheduler:[/b]排程器根據容量、佇列等限制條件(如每個佇列分配一定的資源,最多執行一定數量的作業等),將系統中的資源分配給各個正在執行的應用程式

[size=large][b]2. nodemanager[/b][/size]

nm 是每個節點上的資源和任務管理器。

[b]* 定時地向 rm 匯報本節點上的資源使用情況和各個container 的執行狀態 [/b]

[color=red][b]* 接收並處理來自am 的container啟動/ 停止等各種請求[/b][/color]

[b]使用者提交的每個應用程式均包含乙個am,主要功能包括:[/b]

* 與 rm 排程器協商以獲取資源(用 container 表示)

[b]* 將得到的任務進一步分配給內部的任務 [/b]

* 與 nm 通訊以啟動 / 停止任務

[b]* 監控所有任務執行狀態,並在任務執行失敗時重新為任務申請資源以重啟任務[/b]

[size=large][color=red][b]4. container[/b][/color][/size]

[color=red][b]container 是 yarn 中的資源抽象, [/b][/color]它封裝了某個節點上的多維度資源, 如記憶體、cpu、磁碟、網路等,當am 向rm 申請資源時,rm 為am 返回的資源便是用container表示的。

[size=x-large][b]二、yarn 的工作流程[/b][/size]

nodemanager 為任務設定好執行環境(包括環境變數、jar 包、二進位制程式等)後,將任務啟動命令寫到乙個指令碼中,並通過執行該指令碼啟動任務。

mysql各個元件 mysql各個元件的說明

在大多數情況下,你只需要安裝mysql server和mysql client得到乙個功能mysql軟體包安裝。另乙個包是不需要乙個標準的安裝。如果你想開辦乙個mysql max伺服器,有更多的能力,你也應該安裝mysql max每分鐘轉速。但是,你應該這樣做的只是在安裝mysql server每分...

各個元件安裝

open stack 指令碼存放在 usr local bin 安裝keystone controller 執行指令碼iaas install keystone.sh進行安裝 驗證認證服務 重置環境變數並獲取 token root controller unset os token root con...

SpringCloud各個元件說明

對於springcloud來說,首先我們需要認識一些基本的元件,這會讓我們之後的討論和交流更有效率。如果你都不知道別人再說什麼,或者別人都不知道你再講什麼,就很尷尬了。eureka j ri k ribbon r b n feign fen hystrix h st r ks zuul zulu s...