YARN基本組成結構

2021-09-30 13:25:20 字數 743 閱讀 3468

yarn 基本架構

yarn基本組成結構

(1) 排程器

(2) 應用程式管理器

使用者提交的每個應用程式均包含乙個am,主要功能包括:

與rm排程器協商以獲取資源(用container表示);

將得到的任務進一步分配給內部的任務;

與nm通訊以啟動/停止任務;

監控所有任務執行狀態,並在任務執行失敗時重新為任務申請資源以重啟任務。

3. nodemanager(nm)

nm是每個節點上的資源和任務管理器,一方面,它會定時地向rm匯報本節點上的資源使用情況和各個container的執行狀態;另一方面,它接收並處理來自am的container啟動/停止等各種請求。

4. container

container是yarn中的資源抽象,它封裝了某個節點上的多維度資源,如記憶體、cpu、磁碟、網路等,當am向rm申請資源時,rm為am返回的資源便是用container表示的。yarn會為每個任務分配乙個container,且該任務只能使用該container中描述的資源。需要注意的是,container不同於mrv1中的slot,它是乙個動態資源劃分單位,是根據應用程式的需求動態生成的。截至本書完成時,yarn僅支援cpu和記憶體兩種資源,且使用了輕量級資源隔離機制cgroups進行資源隔離。

yarn的基本組成結構

排程器排程器根據容量 佇列等限制條件 如每個佇列分配的一定的資源 最多執行的一定數量的作業等 將系統中的資源分配給各個正字執行的應用程式。需要注意的是,該排程器是乙個純排程器 它不在從事任何與具體應用程式相關的工作。比如不負責監控或者跟著應用的執行狀態等。也不負責重新啟動因執行失敗或者硬體故障而產生...

server基本組成

字串操作封裝,如 數字字串轉換 分隔符拆分 等常用操作 string handle 網路基礎資料結構,如 ip數字轉換 獲取網域名稱 物件池封裝 位儲存 bit map 序列化反序列化buffer octets,能夠支援寫時拷貝以及壓縮功能 阻塞佇列 block queue ring buffer ...

Docker基本組成

docker client 客戶端 docker daemon 守護程序 c s架構的程式,docker客戶端向docker的伺服器端 守護程序 發出請求,守護程序處理完所有的工作,並返回結果 客戶端對伺服器端的訪問既可以在本地也可以在遠端來訪問。docker image 映象 1 理解一 映象是d...