nodemanager(nm)
container
yarn的通訊協議
yarn工作流程
排程器應用程式管理器nm是每個節點上的資源和任務管理器，一方面，它會定時地向rm匯報本節點上的資源使用情況和各個container的執行狀態，另一方面，它接收並處理來自am的container啟動/停止等各種請求。
container是yarn中的資源抽象，它封裝了某個節點上的多維度資源，如記憶體、cpu、磁碟、網路等，當am向rm申請資源時，rm為am返回的資源便是container表示的，yarn會為每個任務分配乙個container，且該任務只能使用該container中描述的資源，需要注意的是，container不同於mrv1中的slot，它是乙個動態資源劃分單位，是根據應用程式的需求動態生成的，
原文：
YARN基本原理和YARN工作流程
舊的mapreduce架構 基本概念 舊的架構的問題 jobtracker是mapreduce的集中處理點，存在單點故障 jobtracker完成了太多的任務，造成了過多的資源消耗，當mapreduce job 非常多的時候，會造成很大的記憶體開銷。這也是業界普遍總結出老hadoop的mapredu...
yarn工作流程
對多工執行環境的抽象，包括cpu 記憶體等多維度資源以及環境變數 啟動命令等任務執行的相關環境 執行流程 1 客戶端向rm中提交程式 2 rm向nm中分配乙個container，並在該container中啟動am 3 am向rm註冊，這樣使用者可以直接通過rm檢視應用程式的執行狀態 然後它將為各個任...
YARN工作流程
執行在yarn上的應用程式主要分為兩類 短應用程式和長應用程式，其中，短應用程式是指一定時間內 可能是秒級 分鐘級或小時級，儘管天級別或者更長時間的也存在，但非常少 可執行完成並正常退出的應用程式，比如mapreduce作業 將在第8章介紹 tez dag作業等，長應用程式是指不出意外，永不終止執行...