Hadoop Yarn 框架原理及運作機制

2021-08-15 04:32:36 字數 1401 閱讀 4772

1. yarn 基本架構

2. yarn基本組成結構

(1)排程器

排程器根據容量、佇列等限制條件(如每個佇列分配一定的資源,最多執行一定數量的作業等),將系統中的資源分配給各個正在執行的應用程式。

(2)應用程式管理器

使用者提交的每個應用程式均包含1個am,主要功能包括:

與rm排程器協商以獲取資源(用container表示);

將得到的任務進一步分配給內部的任務;

與nm通訊以啟動/停止任務;

監控所有任務執行狀態,並在任務執行失敗時重新為任務申請資源以重啟任務。

2.3. nodemanager(nm)

nm是每個節點上的資源和任務管理器,一方面,它會定時地向rm匯報本節點上的資源使用情況和各個container的執行狀態;另一方面,它接收並處理來自am的container啟動/停止等各種請求

2.4. container

container是yarn中的資源抽象,它封裝了某個節點上的多維度資源,如記憶體、cpu、磁碟、網路等,當am向rm申請資源時,rm為am返回的資源便是用container表示的。yarn會為每個任務分配乙個container,且該任務只能使用該container中描述的資源。

需要注意的是,container不同於mrv1中的slot,它是乙個動態資源劃分單位,是根據應用程式的需求動態生成的。截至本書完成時,yarn僅支援cpu和記憶體兩種資源,且使用了輕量級資源隔離機制cgroups進行資源隔離。

3  yarn工作流程

當使用者向yarn中提交乙個應用程式後,yarn將分兩個階段執行該應用程式:

如圖2-11所示,yarn的工作流程分為以下幾個步驟:

步驟6 nodemanager為任務設定好執行環境(包括環境變數、jar包、二進位制程式等)後,將任務啟動命令寫到乙個指令碼中,並通過執行該指令碼啟動任務。

4. 多角度理解yarn

Hadoop Yarn 框架原理及運作機制

1.1 yarn 基本架構 1.2 yarn基本組成結構 1 排程器 排程器根據容量 佇列等限制條件 如每個佇列分配一定的資源,最多執行一定數量的作業等 將系統中的資源分配給各個正在執行的應用程式。2 應用程式管理器 使用者提交的每個應用程式均包含1個am,主要功能包括 與rm排程器協商以獲取資源 ...

Hadoop Yarn 框架原理及運作機制

1.1 yarn 基本架構 1.2 yarn基本組成結構 1 排程器 排程器根據容量 佇列等限制條件 如每個佇列分配一定的資源,最多執行一定數量的作業等 將系統中的資源分配給各個正在執行的應用程式。2 應用程式管理器 使用者提交的每個應用程式均包含1個am,主要功能包括 與rm排程器協商以獲取資源 ...

Hadoop Yarn 框架原理及運作機制

1.1 yarn 基本架構 1.2 yarn基本組成結構 container 等幾個元件構成。1 排程器 排程器根據容量 佇列等限制條件 如每個佇列分配一定的資源,最多執行一定數量的作業等 將系統中的資源分配給各個正在執行的應用程式。container 表示,container是乙個動態資源分配單位...