Hadoop學習筆記(三) 作業排程器

2021-06-22 21:34:06 字數 361 閱讀 4241

作業排程器

早期的作業排程使用fifo(first in first out)排程演算法,可以設定屬性mapred.job.priority或者jobclient的setjobpriority( )方法來設定作業優先順序,可配置的優先順序有5個:very_high, high, normal, low, very_low。

除了fifo排程器之外,還有兩個多使用者排程器,分別是fair scheduler和capacity scheduler。

1. fair scheduler(讓每個使用者公平地共享集群資源)

2. capacity scheduler(資源按比例分配給各個佇列)

Hadoop作業排程演算法

hadoop集群中有三種作業排程演算法,分別為 fifo 公平排程演算法和計算能力排程演算法 fifo比較簡單,hadoop 中只有乙個作業佇列,被提交的作業按照先後順序在作業佇列中排隊,新來的作業插入到隊尾。乙個作業執行完後,總是從隊首取下乙個作業執行。這種排程策略的優點是簡單 易於實現,同時也減...

Hadoop作業排程器

隨著 mapreduce 的流行,其開源實現 hadoop 也變得越來越受推崇。在 hadoop 系統中,有乙個元件非常重要,那就是排程器。排程器是乙個可插拔的模組,使用者可以根據自己的實際應用要求設計排程器 1 排程器基本作用 hadoop排程器的基本作用就是根據節點資源 slot 使用情況和作業...

Hadoop集群作業排程演算法

hadoop集群中有三種作業排程演算法,分別為 fifo 公平排程演算法和計算能力排程演算法 fifo比較簡單,hadoop 中只有乙個作業佇列,被提交的作業按照先後順序在作業佇列中排隊,新來的作業插入到隊尾。乙個作業執行完後,總是從隊首取下乙個作業執行。這種排程策略的優點是簡單 易於實現,同時也減...