yarn的架構設計

2021-09-20 21:47:04 字數 539 閱讀 1104

1. client向yarn提交應用程式

2. rm為應用程式分配乙個container,並於nm通訊,告訴它在container中啟動aplicationmaster

3.aplicationmaster向rm註冊,然後傳送為各個任務申請資源的請求,並監控task的執行狀態直到結束

4. aplicationmaster採用輪詢方式用過rpc協議向rm申請,領取資源

5. aplicationmaster申請到資源後,便於nm進行通訊,傳送啟動任務的請求

6. nm設定執行環境,在container中啟動task

7. 各個task通過rpc向aplicationmaster傳送執行狀況

8. task執行完成後,aplicationmaster向rm登出,並關閉自己總體來說yarn執行應用程式主要分2個階段

1.啟動aplicationmaster

2.建立應aplicationmaste,申請資源,監控執行狀況直到結束

YARN架構設計詳解

yarn的架構設計使其越來越像是乙個雲作業系統,資料處理作業系統。1 排程器 2 應用程式管理器 管理yarn內執行的應用程式的每個例項。功能 資料切分 為應用程式申請資源並進一步分配給內部任務。任務監控與容錯 負責協調來自resourcemanager的資源,並通過nodemanager監視容易的...

YARN架構設計詳解

yarn的架構設計使其越來越像是乙個雲作業系統,資料處理作業系統。1 resourcemanager 1 排程器 2 應用程式管理器 管理yarn內執行的應用程式的每個例項。功能 資料切分 為應用程式申請資源並進一步分配給內部任務。任務監控與容錯 負責協調來自resourcemanager的資源,並...

salesforce 架構設計 從架構設計到架構師

因為碎片化的時間多了,所以開始刷起某乎了,關注了架構相關的板塊,也順手回答了一些問題。發現有很多同道中人正在經歷著我前兩年經歷的階段,對於做架構沒有相對具象的一些理解,更沒有系統化的認識。所以把最近回答的一些內容整理一下,權當記錄,留給3年後的自己 按慣例,容許我裝x開頭 一 架構的定義 在軟體開發...