Yarn 資源排程器

資源排程器是什麼？

yarn中負責集群資源分配的是scheduler。

分成三種型別：fifo scheduler，capacity scheduler，fair scheduler。

fifo scheduler：先進先出佇列，任務先提交就會被先執行，優先滿足最先被提交的任務，之後若有空餘資源再分配給後續的任務。缺點是乙個任務將集群資源耗盡，其他任務就只能等待資源被釋放後才能繼續執行，否則一直被阻塞。即小任務會被大任務阻塞

capacity scheduler。hadoop2.7.2預設的資源排程器。支援多個佇列，每個佇列是fifo排程。

例如集群的資源被分到了a，b兩個佇列中，

a佇列占用60%的資源，b佇列占用40%的資源。

root
------a[60%]
|---a.bi[40%]
|---a.realtime[60%]
------b[40%]

當使用者向a提交了乙個任務，此任務可以占用100%的集群資源（集群中僅此乙個任務，沒有其他任務），當向b佇列提交了任務後，佇列a會慢慢地釋放占用的資源，達到的平衡狀態是佇列a使用60%的資源執行乙個任務，佇列b使用40%的資源執行乙個任務。

特點：層次化設計：子佇列可以使用父佇列的資源，這樣可以合理分配、限制資源。

容量設計：每個佇列/任務都不會用盡集群資源，有任務資源閾值

fair scheduler，支援多佇列、多使用者，乙個佇列的所有job都會得到執行，按照資源差額（佇列中已有的資源與任務需要的資源）來評定任務執行的優先順序。