yarn簡介和常用引數

一、概述

apache hadoop yarn （yet another resource negotiator，另一種資源協調者）是一種新的 hadoop 資源管理器，它是乙個通用資源管理系統，可為上層應用提供統一的資源管理和排程，它的引入為集群在資源利用率、資源統一管理和資料共享等方面帶來了巨大好處。

yarn 分層結構的本質是 resourcemanager。這個實體控制整個集群並管理應用程式向基礎計算資源的分配。resourcemanager 將各個資源部分（計算、記憶體、頻寬等）精心安排給基礎 nodemanager（yarn 的每節點**）。

二、架構圖

三、核心思想

將jobtracker和tasktacker進行分離，它由下面幾大構成元件：

乙個全域性的資源管理器 resourcemanager

resourcemanager的每個節點** nodemanager

四、resourcemanager（rm）

使用者提交的每個應用程式均包含乙個am，主要功能包括：

a. 與rm排程器協商以獲取資源（用container表示）；

b. 將得到的任務進一步分配給內部的任務(資源的二次分配)；

c. 與nm通訊以啟動/停止任務；

d. 監控所有任務執行狀態，並在任務執行失敗時重新為任務申請資源以重啟任務。

六、nodemanager（nm）

nm是每個節點上的資源和任務管理器

它會定時地向rm匯報本節點上的資源使用情況和各個container的執行狀態

它接收並處理來自am的container啟動/停止等各種請求。

七、container

container是yarn中的資源抽象，它封裝了某個節點上的記憶體、cpu資源

當am向rm申請資源時，rm為am返回的資源便是用container表示。

yarn會為每個任務分配乙個container，且該任務只能使用該container中描述的資源。