hadoop中yarn的原理及執行

2021-09-02 00:22:42 字數 1322 閱讀 1780

一:對yarn的理解

1.關於yarn的組成

大約分成主要的四個。

2.resourcemanager(rm)的理解

rm是全域性資源管理器,負責整個系統的資源管理和分配。

主要由兩個元件組成:排程器和應用程式管理器(asm)

應用程式管理器:負責管理整個系統中所有應用程式

使用者提交的每個應用程式均包含乙個am

am的主要功能:

(1)與rm排程器協商以獲取資源(用container表示)

(2)將得到的任務進一步分配給內部的任務

(3)與nm通訊以自動/停止任務

(4)監控所有任務執行狀態,並在任務執行失敗時重新為任務申請資源以重啟任務

當前yarn自帶了兩個am實現:

乙個用於演示am編寫方法的例項程式distributedshell

其他的計算框架對應的am正在開發中,比如spark等

4.nodemanager

nm是每個節點上的資源和任務管理器

(1)定時向rm匯報本節點上的資源使用情況和各個container的執行狀態

(2)接收並處理來自am的container啟動/停止等各種要求

5.container

container是yarn中的資源抽象,它封裝了某個節點上的多維度資源

yarn會為每個任務分配乙個container,且該任務只能使用該container中描述的資源

二:mapreduce在yarn上執行

1.流程圖

2.流程

(1):由客戶端提交乙個應用,由rm的am接受應用請求

提交過來的應用程式包括哪些內容:

c:本身應用程式的內容

接下來我們就要執行這個任務了,

(4)我們註冊好了後,得申請資源,申請資源是通過第四步,向resourcescheduler申請的

(5)申請並領取資源後,它會找nodemanager,告訴他我應經申請到了,然後nodemanager判斷一下,

(6)知道他申請到了以後就會啟動任務,當前啟動之前會準備好環境,

(8)完成以後會給rm進行匯報,讓rm撤銷註冊。然後rsm就會**資源。當然了,我們是分布式的,所以我們不會只跟自己的nodemanager通訊。也會跟其他的節點通訊。

通俗解釋:

Hadoop2 0 Yarn框架原理及運作機制

1.1 yarn 基本架構 1.2 yarn基本組成結構 1 排程器 排程器根據容量 佇列等限制條件 如每個佇列分配一定的資源,最多執行一定數量的作業等 將系統中的資源分配給各個正在執行的應用程式。2 應用程式管理器 使用者提交的每個應用程式均包含1個am,主要功能包括 與rm排程器協商以獲取資源 ...

Hadoop2 0 Yarn框架原理及運作機制

1.1 yarn 基本架構 1.2 yarn基本組成結構 1 排程器 排程器根據容量 佇列等限制條件 如每個佇列分配一定的資源,最多執行一定數量的作業等 將系統中的資源分配給各個正在執行的應用程式。2 應用程式管理器 使用者提交的每個應用程式均包含1個am,主要功能包括 與rm排程器協商以獲取資源 ...

Yarn的架構及原理基礎

1.1 yarn 基本架構 1.2 yarn基本組成結構 1 排程器 排程器根據容量 佇列等限制條件 如每個佇列分配一定的資源,最多執行一定數量的作業等 將系統中的資源分配給各個正在執行的應用程式。2 應用程式管理器 使用者提交的每個應用程式均包含1個am,主要功能包括 與rm排程器協商以獲取資源 ...