yarn作為資源管理器，任務排程的乙個框架，主要包含三大模組，即resourcemanager(rm),nodemanager(nm),aplicationmaster(am)，今天我們介紹resourcemanager。
1）客戶端和resourcemanger互動
- clientservice
管理每個應用程式的acl
3）nodemanager和resourcemanager的通訊
- resource tracker service
nodemanager週期性的傳送心跳到resourcemanager，resourcemanager的足記該元件負責響應來自所有nodemanager的這些rpc。它負責以下任務：
1.註冊新的nodemanager。
2.接受以前nodemanager的心跳。
3.確保只有合法的nodemanager可以和resourcemanager通訊，拒絕其他不合法的nodemanager。
- nodemanager存活監控
跟蹤活躍的nodemanager和確定已死去的nodemanager。
- node-list manager
node-list manager是在nodemanager記憶體中的乙個集合，包括有效的節點和被排除的節點。
4）resourcemanager核心元件
yarn排程器負責給正在執行的應用程式分配資源。它基於應用程式的資源需求來執行排程功能，這些資源可能包括記憶體，cpu，磁碟以及網路需求等。
- containerallocationexpirer
YARN基本框架介紹
在之前的部落格 yarn與mrv1的對比 中介紹了yarn對hadoop 1.0的完善。本文將重點介紹下yarn各個模組的作用與yarn執行流程。負責與rm排程器協商以獲取資源 用container表示 將得到的任務進一步分配給內部的任務 資源的二次分配 與nm通訊以啟動 停止任務。監控所有任務執行...
YARN基本框架和工作流程
nodemanager nm container yarn的通訊協議 yarn工作流程 排程器應用程式管理器nm是每個節點上的資源和任務管理器，一方面，它會定時地向rm匯報本節點上的資源使用情況和各個container的執行狀態，另一方面，它接收並處理來自am的container啟動 停止等各種請求...
YARN框架解析
yarn框架 1 resourcemanager rm 控制集群並管理應用程式對基礎資源的分配。總體而言rm具有以下特徵 1 處理客戶端請求 1 監控nodemanager 2 資源的分配與排程 總體而言am具有以下特徵 1 負責資料的切分 2 為應用程式申請資源並分配給內部的任務 1 任務的監控與...