YARN工作全解

2021-08-21 15:16:15 字數 629 閱讀 6918

首先放張yarn官網的圖便於理解:

講一下yarn的優點(網上一搜一籮筐):

首先要提一下mapreduce1,它只包含jobtracker(協調在集群上執行的所有作業)和tasktracker(執行分配的任務並定期向 jobtracker 報告進度),主要存在這樣幾個問題:

然後才是yarn的主場:

對於資源的表示以記憶體為單位,比之前以剩餘slot數目更加合理,相當於map task slot和reduce task slot共享記憶體。

container用來作為yarn的乙個資源隔離元件,可以用來對資源進行排程和控制。

yarn主要元件有以下幾個:

resource manager: 負責資源排程、資源分配等工作,執行在namenode節點。

container: 通過resourcemanager分配。包括容器的cpu、記憶體等資源。

收工。參考文件

yarn官方文件

**yarn工作原理

yarn簡述及優勢

Yarn工作機制

yarn是乙個資源排程平台,負責為運算程式提供伺服器運算資源,相當於乙個分布式的作業系統平台,而mapreduce等運算程式則相當於執行於作業系統之上的應用程式1 yarn 並不清楚使用者提交的程式的執行機制 2 yarn 只提供運算資源的排程 使用者程式向 yarn 申請資源,yarn 就負責分配...

yarn工作流程

對多工執行環境的抽象,包括cpu 記憶體等多維度資源以及環境變數 啟動命令等任務執行的相關環境 執行流程 1 客戶端向rm中提交程式 2 rm向nm中分配乙個container,並在該container中啟動am 3 am向rm註冊,這樣使用者可以直接通過rm檢視應用程式的執行狀態 然後它將為各個任...

Yarn工作執行流程

job的提交 客戶端向resourcemanager提交job請求,申請資源。resourcemanager向客戶端返回乙個job id以及共享資源路徑hdfs tmp 客戶端將共享資源放在共享資源路徑下 job.jar,job.xml,job.xml 客戶端向resourcemanager返回共享...