YARN的主要元件及功能簡介

2021-07-10 08:20:45 字數 756 閱讀 4920

--總體概述

--主要結構

--rm 負責整個系統的資源分配,主要由兩個元件構成:排程器(scheduler),應用程式管理器aplications master(asm)

--排程器

排程器只是單純的排程,不參與任何具體的計算失誤,也不負責跟蹤程式的執行狀態,執行失敗的時候,也不負責程式的kill,重啟等,這些都交由am負責.排程器根據各個程式的需求進行資源分配,資源單位用乙個抽象的概念container,它是乙個資源單位,如記憶體,網路,cpu等,從而限定程式對資源的使用量.排程器是乙個插拔式的單位,使用者可以根據自己的需求設計新的排程器,yarn提供了幾種現成的排程器,如fair scheduler,capacity scheduler.

負責系統中所有應用程式,提交程式、寫生資源,以啟動am,監控am的執行狀態,其失敗時,重啟它

--nm

每個節點上的任務和資源管理器,功能包括,定時向rm回報本節點上的記憶體,硬碟,cpu等資源的使用情況,以及各個container的執行狀態,還有接收並處理來自am的container啟動或停止等各種請求

使用者提交的每個程式,都包含乙個am,主要的功能用途:

與rm進行roc通訊,以獲取資源(contatiner)

與nm進行rpc通訊,對任務程序停止或啟動

其次,am有多種實現,使用者也可以自定義

--container

是yarn中的,對資源的抽象,包括cpu,記憶體等(主要針對cpu,記憶體,是否在新版本中增加資源項還未研究,但是個人覺得增加的可能性不大)

YARN的設計思想和功能元件簡介

a yarn yet another resource negotiator b yarn的基本思想 hadoop1.x和hadoop2.x框架對比圖 hadoop2.x框架圖 a 乙個純粹的排程器 b 根據應用程式的資源請求嚴格限制系統的可用資源 c 在保證容量 公平性及服務等級的情況下,優化集群...

yarn當中各個主要元件的作用及排程器

處理客戶端請求 監控nodemanager 資源分配與排程單個節點上的資源管理和任務管理 接收並處理來自resourcemanager的命令 管理抽象容器container 定時向rm匯報本節點資源使用情況和各個container的執行狀態資料切分 為應用程式申請資源 任務監控與容錯 負責協調來自r...

SAP 主要模組及簡介

只找了一些主要的模組,還有一部分沒有寫出來。fi 財務會計 集中公司有關會計的所有資料,提供完整的文獻和全面的資訊,同時作為企業實行控制和規劃的最新基礎。tr 財務管理 是乙個高效率財務管理完整解決方案,確保公司在世界範圍的周轉,對財務資產結構實行盈利化組合,並限制風險。co 管理會計 是公司管理系...