Yarn的基本概念

2021-10-01 16:27:14 字數 828 閱讀 4331

1.hadoop1.0與hadoop2.0結構:

1.應用程式的master,每乙個應用對應乙個am,在使用者提交乙個應用程式時,乙個am的輕量型程序例項會啟動,am協調應用程式內的所有任務的執行

2.負責乙個job生命週期內的所有工作,類似舊的jobtracker

3.每乙個job都有乙個am,執行在rm以外的機器上

4. 通過rpc協議與rm協商資源

–與scheduler協商合適的container

5.與nm協同工作與scheduler協商合適的container進行container的監控

6.是乙個普通container的身份執行

7. 對於提交給集群的每個作業,會啟動乙個專用的、短暫的am來控制該作業中的任務的執行。

4.container

1.是任務執行環境的抽象封裝

2.container只是使用nm上指定資源的權利

3.am必須向nm提供更多的資訊來啟動container

4.描述任務的執行資源(節點、記憶體、cpu)、啟動命令和執行環境

3.yarn框架對於舊的mapreduce框架的優勢4.yarn框架的執行過程

基本概念 C 基本概念

由於工作中需要用到c 編寫的一些工具,有時候需要根據需求修改或者定製工具,所以現在不得不學習一下c 的基礎語法,此為筆記,不成章法!機器語言 組合語言 高階語言 面向過程的程式設計方法 物件導向的程式設計方法 泛型程式設計方法 1 演算法設計 2 源程式編輯 3 編譯 4 連線 5 執行除錯 輸入裝...

基本概念 數控系統基本概念

第一章 基本概念 數控工具機cnc是一種按事先編制好的加工零件程式進行加工的高效 自動化加工裝置。是 computer numerical control machine tools 的簡稱。數控工具機較好地解決了複雜 精密 小批量 多品種的零件加工問題,是一種柔性的 高效能的自動化工具機。西門子系...

pwm的基本概念

脈寬調變pwm是開關型穩壓電源中的術語。這是按穩壓的控制方式分類的,除了pwm型,還有pfm型和pwm pfm混合型。脈寬寬度調製式 pwm 開關型穩壓電路是在控制電路輸出頻率不變的情況下,通過電壓反饋調整其占空比,從而達到穩定輸出電壓的目的。pwm技術的基本原理 隨著電子技術的發展,出現了多種pw...