Capacity Scheduler配置說明

2021-08-08 04:19:36 字數 1749 閱讀 8057

**:

mapred.capacity-scheduler.queue..capacity:設定排程器中各個queue的容量,這裡指的是占用的集群的slots的百分比,需要注意的是,所有queue的該配置項加起來必須小於等於100,否則會導致jobtracker啟動失敗。

mapred.capacity-scheduler.queue..maximum-capacity:設定排程器中各個queue最大可以占有的容量,預設為-1表示最大可以占有集群100%的資源,和設定為100的效果是一樣的。

mapred.capacity-scheduler.queue..minimum-user-limit-percent:當queue中多個使用者出現slots競爭的時候,限制每個使用者的slots資源的百分比。舉個例子,當minimum-user-limit-percent設定為25%時候,如果queue中有多餘4個使用者同時提交job,那麼排程器保證每個使用者占有的slots不超過queue中slots數的25%,預設為100表示不對使用者作限制。

mapred.capacity-scheduler.queue..user-limit-factor:設定queue中使用者可占用queue容量的係數,預設為1表示,queue中每個使用者最多只能占有queue的容量(即mapred.capacity-scheduler.queue..capacity),因此,需要注意的是,如果queue中只有乙個使用者提交job,且希望使用者在集群不繁忙時候可擴充套件到mapred.capacity-scheduler.queue..maximum-capacity指定的slots數,則必須相應調大user-limit-factor這個係數。

mapred.capacity-scheduler.queue..supports-priority:設定排程器中各個queue是否支援job優先順序,不用過多解釋。

mapred.capacity-scheduler.maximum-system-jobs:設定排程器中各個queue中合起來共計可初始化後併發執行的job數,需要注意的是,各個queue會按照自己占有集群slots資源的比例(即mapred.capacity-scheduler.queue..capacity)決定每個queue最多同時併發執行的job數!舉個例子,假設maximum-system-jobs為20個,而queue1佔集群10%資源,那麼意味著queue1最多可同時併發執行2個job,如果碰巧是執行時間比較長的job的話,將直接導致其他新提交的job被jobtracker阻塞不能進行初始化!

mapred.capacity-scheduler.queue..maximum-initialized-active-tasks:設定queue中所有併發執行job包含的task數的上限值,如果超過此限制,則新提交到該queue中的job會被排隊快取到磁碟上。

mapred.capacity-scheduler.queue..maximum-initialized-active-tasks-per-user:設定queue中每個特定使用者併發執行job包含的task數的上限值,如果超過此限制,則該使用者新提交到該queue中的job會被排隊快取到磁碟上。

mapred.capacity-scheduler.queue..init-accept-jobs-factor:設定每個queue中可容納接收的job總數(maximum-system-jobs * queue-capacity)的係數,舉個例子,如果maximum-system-jobs為20,queue-capacity為10%,init-accept-jobs-factor為10,則當queue中job總數達到10*(20*10%)=20時,新的job將被jobtracker拒絕提交。

Capacity Scheduler 佇列設定

先附乙個官網位址 capacity scheduler是yarn中預設的資源排程器。資源分配相關引數 1 capacity 佇列的資源容量 百分比 當系統非常繁忙時,應保證每個佇列的容量得到滿足,而如果每個佇列應用程式較少,可將剩餘資源共享給其他佇列。注意,所有佇列的容量之和應小於100。2 max...

Quartz CronTrigger配置說明

crontrigger配置格式 格式 秒 分 小時 日 月 周 年 序號說明 是否必填 允許填寫的值 允許的萬用字元 1秒 是0 59 2分 是0 59 3小時 是0 23 4日 是1 31 l w5月 是1 12 or jan dec 6周 是1 7 or sun sat l 7年 否empty ...

Quartz CronTrigger配置說明

crontrigger配置格式 格式 秒 分 小時 日 月 周 年 序號說明 是否必填 允許填寫的值 允許的萬用字元 1秒 是0 59 2分 是0 59 3小時 是0 23 4日 是1 31 l w5月 是1 12 or jan dec 6周 是1 7 or sun sat l 7年 否empty ...