配置多佇列的容量排程器

預設yarn的配置下，容量排程器只有一條default佇列。在capacity-scheduler.xml中可以配置多條佇列，並降低default佇列資源佔比：

<

!-- 指定多佇列，增加hive佇列 --
>
yarn.scheduler.capacity.root.queues<
/name>
default
,hive<
/value>
the queues at the this level (root is the root queue)
.<
/description>
<
/property>
<
!-- 降低default佇列資源額定容量為40
%，預設100%--
>
yarn.scheduler.capacity.root.
default
.capacity<
/name>
40<
/value>
<
/property>
<
!-- 降低default佇列資源最大容量為60
%，預設100%--
>
yarn.scheduler.capacity.root.
default
.maximum-capacity<
/name>
60<
/value>
<
/property>

<

!-- 指定hive佇列的資源額定容量 --
>
yarn.scheduler.capacity.root.hive.capacity<
/name>
60<
/value>
<
/property>
yarn.scheduler.capacity.root.hive.user-limit-factor<
/name>
1<
/value>
<
/property>
<
!-- 指定hive佇列的資源最大容量 --
>
yarn.scheduler.capacity.root.hive.maximum-capacity<
/name>
80<
/value>
<
/property>
yarn.scheduler.capacity.root.hive.state<
/name>
running<
/value>
<
/property>
/name>
*<
/value>
<
/property>
yarn.scheduler.capacity.root.hive.acl_administer_queue<
/name>
*<
/value>
<
/property>
/name>
*<
/value>
<
/property>
/name>
-1<
/value>
<
/property>
yarn.scheduler.capacity.root.hive.
default
/name>
-1<
/value>
<
/property>

YARN容量排程器多佇列配置及應用提交詳解

目錄 0 需求 1 配置多佇列的容量排程器 2 向hive佇列提交任務 yarn預設的容量排程器是一條單佇列的排程器，在實際使用中會出現單個任務阻塞整個佇列的情況。同時，隨著業務的增長，公司需要分業務限制集群使用率。這就需要我們按照業務種類配置多條任務佇列。預設yarn的配置下，容量排程器只有一條d...

Yarn 配置容量排程器

目錄 佇列比例 修改capacity scheduler.xml配置檔案 將新的配置同步到集群所有節點,重啟yarn 提交任務 檢視任務 yarn site.xml root prod 生產環境 40 dev 開發環境 60 mapreduce mr開發 50 spark spark開發 50 ya...

Celery多佇列配置

專案結構 proj init celeryconfig.py celery的配置檔案 tasks.py celery編寫任務檔案 coding utf 8 from future import absolute import from celery import celery proj includ...