yarn是乙個集群資源的管理與任務排程的分布式框架
官網解釋如下：
hadoop yarn: a framework for jobschedulingandcluster resourcemanagement.
yarn的工作原理
1.客戶端提交應用程式給resourcemanager
（其實是每個container容器被分配後，由每個機器上的nodemanger來啟動該container）
>>集群資源的管理主節點 -rm resourcemanager
通過節點伺服器定期向主節點報告使用情況
從節點 -nd nodemanager
通過自己的程序管理每乙個節點服務其的使用情況
>>任務排程
>>>yarn上執行多個應用程式
>>>應用程式執行需要資源
>>>對應用程式的資源如何進行分配
>>>yarn如何任務排程
resourcemanager
>>>處理客戶端請求
>>>監控nodemanger
>>>資源分配與排程
nodemanger
>>>單個節點管理
>>>處理來自resourcemanger的命令
需要劃分空間，執行任務
>>>申請資源
>>>監控、管理nodemanger上的任務運**況
container
對資源抽象和封裝，目的是為了讓每個應用程式對應的任務完成執行
任務之間不能相互影響，任務不能相互交叉使用和共享
Yarn的工作機制原理
2 工作機制詳解 0 mr程式提交到客戶端所在的節點。2 rm將該應用程式的資源路徑返回給yarnrunner。3 該程式將執行所需資源提交到hdfs上。5 rm將使用者的請求初始化成乙個task。6 其中乙個nodemanager領取到task任務。8 container從hdfs上拷貝資源到本地...
YARN基本原理和YARN工作流程
舊的mapreduce架構 基本概念 舊的架構的問題 jobtracker是mapreduce的集中處理點，存在單點故障 jobtracker完成了太多的任務，造成了過多的資源消耗，當mapreduce job 非常多的時候，會造成很大的記憶體開銷。這也是業界普遍總結出老hadoop的mapredu...
PHP的工作原理詳解
1.php的所有應用程式都是通過web伺服器 如iis，nginx或apache 和php引擎程式解釋執行完成的，工作過程 1 當使用者在瀏覽器位址中輸入要訪問的php頁面檔名，然後觸發乙個web請求，並將請求傳送到web伺服器。2 web伺服器接受這個請求，並根據其字尾進行判斷是乙個php請求，w...