Hadoop核心元件之YARN

2021-08-29 05:11:18 字數 1028 閱讀 7526

作業系統級別的排程框架,可以讓各種計算框架執行在上面

yarn:不同計算框架可以共享同乙個hdfs集群上的資料,享受整體的資源排程

*** on yarn的好處:

與其他計算框架共享集群資源,按資源需要分配,進而提高集群資源的利用率

***: spark/mapreduce/storm/flink

1)resourcemanager: rm

整個集群同一時間提供服務的rm只有乙個,負責集群資源的統一管理和排程

處理客戶端的請求: 提交乙個作業、殺死乙個作業

監控我們的nm,一旦某個nm掛了,那麼該nm上執行的任務需要告訴我們的am來如何進行處理

2) nodemanager: nm

整個集群中有多個,負責自己本身節點資源管理和使用

定時向rm匯報本節點的資源使用情況

接收並處理來自rm的各種命令:啟動container

處理來自am的命令

單個節點的資源管理

container

封裝了cpu、memory等資源的乙個容器

是乙個任務執行環境的抽象

client

提交作業

查詢作業的執行進度

殺死作業

1使用者向yarn提交乙個作業(mp,spark作業),rm會在其中乙個nm中啟動乙個container用於執行am

2.am啟動之後,就會註冊到rm中去,從而可以與rm進行通訊

3.am直接向rm申請資源,am就會到對應的那些nm上去啟動container,就把task執行到container中去

hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 2 3

(十四)Hadoop核心元件之Yarn的認識

yarn是乙個資源排程平台,負責為運算程式提供伺服器運算資源,相當於乙個分布式的作業系統平台,而mapreduce等運算程式則相當於執行於作業系統之上的應用程式。yarn並不清楚使用者提交的程式的執行機制 yarn只提供運算資源的排程 使用者程式向yarn申請資源,yarn就負責分配資源 yarn中...

hadoop之 yarn (簡單了解)

yarn通過兩個 守護執行緒提供核心服務 resourcemanager,管理集群所有資源的切分以及作業的排程與監控 nodemanager,執行在集群所有節點上,啟動並監控容器的執行狀況,並負責向resourcemanager匯報。在linux上,hadoop是通過cgroup技術實現contai...

Hadoop學習筆記之YARN

yarn service框架提供了一流的支援和api,可以在yarn中本地化時間執行的服務。簡而言之 in a nutshell 它作為乙個容器編排平台,用於管理yarn上的貨櫃化服務。它支援yarn中的docker容器和傳統的基於程序的容器。該框架的職責包括執行配置解決方案和安裝,生命週期管理 如...