在hadoop生態越來越完善的背景下，集群多使用者租用的場景變得越來越普遍，多使用者任務下的資源排程就顯得十分關鍵了。比如，乙個公司擁有乙個幾十個節點的hadoop集群，a專案組要進行乙個計算任務，b專案組要計算乙個任務，集群到底先執行哪個任務？如果你需要提交1000個任務呢？這些任務又是如何執行的？為了解決上面的問題，就需要在hadoop集群中引入資源管理和任務排程的框架。這就是——yarn。
yarn在第一代的時候，框架跟hdfs差不多。乙個主節點jobtracker，用來分配任務和監控任務運**況；多個從節點tasktracker，用來執行真正的計算。
這種方式還是有一定的弊端的：
因此，就出現了第二代的yarn。
這種模式主要的特點，就是兩個地方：
yarn的資源排程可以看官網提供的：
流程大致如下：
其中resourcemanager裡面乙個很重要的東西，就是排程器scheduler，排程規則可以使用官方提供的，也可以自定義。
官方大概提供了三種模式：
capacity和fair share都是採用佇列的模式，佇列內部基本上還是fifo。並且同級的佇列任務，如果乙個佇列是空閒的，那麼另乙個佇列任務可以使用資源；如果這個佇列又提交了任務，則會搶占或者等待資源釋放，直到資源到達預定的分配比例。
總的來說，yarn的資源排程還是比較完善的。
posted @
2016-12-06 22:39
xingoo 閱讀(
...)
編輯收藏
大資料之Yarn 資源排程淺學
在hadoop生態越來越完善的背景下，集群多使用者租用的場景變得越來越普遍，多使用者任務下的資源排程就顯得十分關鍵了。比如，乙個公司擁有乙個幾十個節點的hadoop集群，a專案組要進行乙個計算任務，b專案組要計算乙個任務，集群到底先執行哪個任務？如果你需要提交1000個任務呢？這些任務又是如何執行的...
大資料學習 資源排程框架 YARN
伺服器集群資源排程管理和mapreduce執行過程耦合在一起帶來的問題 不同計算框架可以共享同乙個hdfs集群上的資料，享受整體的資源排程 1，client提交作業請求 6，container啟動後，執行對應的任務 1 mapred site.xml mapreduce.framework.name...
Yarn資源排程
由於yarn良好的相容性和擴充套件性，目前可以支援大部分資料引擎，所以了解yarn的資源排程原理很有必要，yarn主要由四個重要角色組成 yarn排程主要分為8個步驟如上圖所示 1.有yarnclient提交program資訊打拼resourcemanager，包括 應用 和應用需要的一切引數和環境...