YARN架構及原理理解

2021-10-05 15:40:01 字數 343 閱讀 4261

hadoop yarn是乙個資源排程框架。

yarn的基本思想是將資源管理和作業排程/監控的功能分解為單獨的守護程序。

resourcemanager和nodemanager構成了資料計算框架。resourcemanager擁有系統中所有應用程式之間仲裁資源的最終許可權,也就是說,應用程式所需要的資源是由resourcemanager分配的。nodemanager是每台機器的框架**,負責容器,監控其資源使用情況(cpu,記憶體,磁碟,網路)並將其報告給resourcemanager/scheduler。

scheduler負責分配資源給正在執行的應用程式。scheduler是純排程程式,因為它不執行應用程式狀態的監控或跟蹤。

Yarn的架構及原理基礎

1.1 yarn 基本架構 1.2 yarn基本組成結構 1 排程器 排程器根據容量 佇列等限制條件 如每個佇列分配一定的資源,最多執行一定數量的作業等 將系統中的資源分配給各個正在執行的應用程式。2 應用程式管理器 使用者提交的每個應用程式均包含1個am,主要功能包括 與rm排程器協商以獲取資源 ...

CSS 原理理解

網頁製作最初,html規定了 normal document stream 標準文件流 來規範元素在網頁中的顯示法則 標準文件流中元素分兩種 塊內元素,行內元素。行內元素的特點 span標籤 豎直margin中的塌陷現象,上下緊密排列的元素的外邊距並不是兩個元素外邊距之和,而是選取那個最大的外邊距作...

Spring IOC原理理解

ioc,inversion of control,控制倒轉。這是spring的核心,貫穿始終。所謂ioc,對於spring框架來說,就是由spring來負責控制物件的生命週期和物件間的關係。di,dependency injection,依賴注入。在系統執行中,動態的向某個物件提供它所需要的其他物件...