Hadoop集群作業排程演算法

2021-08-14 22:26:19 字數 814 閱讀 8730

1.簡介

分布式檔案系統在排程作業的時候可以通過引數來設定job作業排程。開門見山,常見的有三種,

先進先出fifoscheduler,預設的排程演算法,先進先出的方式處理應用,只有乙個佇列可提交應用,沒有應用優先順序可以配置;

公平排程器fairscheduler,多佇列的,多使用者共享資源.程式在執行的時候可以在客戶端設定優先順序,也可以設定搶占;

容量排程器capacityscheduler.多佇列的,依靠作業,如果需求資源少了,優先順序就會高一些,需求資源多了,優先順序就會低一些。

其中,預設的是先進先出排程,不需要我們進行設定,其他兩種公平和容量排程需要在conf中進行設定。

2.配置

配置capacityscheduler:

修改配置檔案mapred-site.xml,容量排程器是多佇列的,需要指定的,有乙個預設的,default。更多配置在:conf/capacity-scheduler.xml

mapred.jobtracker.tasktracker

org.apache.hadoop.mapred.capacitytaskscheduler

mapred.queue.names

default

配置fairscheduler:

修改配置檔案mapred-site.xml,然後重啟集群即可,更多配置在:conf/fair-scheduler.xml

mapred.jobtracker.tasktracker

org.apache.hadoop.mapred.fairschedler

注意:排程演算法順序需要關注1.提高作業的吞吐量;2.要考慮優先順序。

Hadoop集群作業排程演算法

hadoop集群中有三種作業排程演算法,分別為 fifo 公平排程演算法和計算能力排程演算法 fifo比較簡單,hadoop 中只有乙個作業佇列,被提交的作業按照先後順序在作業佇列中排隊,新來的作業插入到隊尾。乙個作業執行完後,總是從隊首取下乙個作業執行。這種排程策略的優點是簡單 易於實現,同時也減...

Hadoop作業排程演算法

hadoop集群中有三種作業排程演算法,分別為 fifo 公平排程演算法和計算能力排程演算法 fifo比較簡單,hadoop 中只有乙個作業佇列,被提交的作業按照先後順序在作業佇列中排隊,新來的作業插入到隊尾。乙個作業執行完後,總是從隊首取下乙個作業執行。這種排程策略的優點是簡單 易於實現,同時也減...

Hadoop集群三種作業排程演算法介紹

hadoop集群中有三種作業排程演算法,分別為fifo,公平排程演算法和計算能力排程演算法 先來先服務 fifo hadoop中預設的排程器fifo 它先按照作業的優先順序高低,再按照到達時間的先後選擇被執行的作業。fifo比較簡單,hadoop中只有乙個作業佇列,被提交的作業按照先後順序在作業佇列...