hadoop佇列管理(指定queue跑程式)

2021-06-25 13:12:00 字數 1263 閱讀 3286

hadoop 公升級到cdh5後,佇列管理被取消,而是統一用資源池分配。 

hadoop2.0版本,hadoop採用了平級佇列組織方式,,管理員可將使用者分到若干個扁平佇列中,在每個佇列中,可指定乙個或幾個佇列管理員管理這些使用者,比如殺死任意使用者的作業,修改任意使用者作業的優先順序。

但這還不夠,需要將資源劃分到這幾個佇列中,並按照一定的策略完成資源分配,這就需要hadoop作業排程器的支援。

總之,在hadoop中,佇列的組織是佇列管理和資源分配的基礎。

線上環境,設定成三個佇列,分別是default,queue1,queue2,queue3。

在編寫**時,設定

configuration conf = new configuration();

conf.set("mapred.job.queue.name", "queue3");

使用queue3跑程式,任務少,資源相對充足。

hadoop 佇列管理:

配置queue相關資訊

•配置屬性在mapre-site.xml

配置queue的相關資訊

mapred.acls.enabled

true

mapred.queue.names

test,default

屬性mapred.queue.names 是 queue 的所有名字,在這一名字中,必須有乙個叫「 default」的 queue

mapred.queue.my_queue.acl-submit-job

test

mapred.queue.default.acl-administer-jobs

mapred.queue.my_queue.acl-administer-jobs

mapred.queue.names是queue的所有名字

•必須有乙個叫「default」的queue

• mapred.queue..acl-submit-job,指定哪些user或者group可以向該queue中提交作業

•mapred.queue..acl-administer-jobs,指定哪些user或者group可以管理該queue中的所有作業。

• 每個queue擁有的資源量和其他資訊,在其他配置檔案裡指定

• mapred.queue..acl-submit-job和mapred.queue..acl-administer-jobs配置方法如下:

使用者和使用者組之間用空格分開,使用者之間用「,」分割,使用者組之間用「,」分割,如果queue的屬性值中只有使用者組,則前面保留乙個空格。

佇列管理模擬

實驗二 佇列管理模擬 一 實驗內容 佇列的建立 入隊 出隊等操作。二 實驗目的 1 熟悉用c或c 進行程式設計的方法。2 掌握佇列的基本操作 建立 入隊 出隊等運算。三 實驗題目 佇列管理的模擬演算法採用如下管理模式 佇列採用鏈式儲存結構 1 初始化乙個空鏈佇列 2 當從鍵盤輸入奇數時,奇數從隊尾入...

tensorflow讀取資料,佇列管理

在使用tensorflow進行非同步計算時,佇列是一種強大的機制。tensorflow提供了兩個類來幫助多執行緒的實現 tf.coordinator和 tf.queuerunner。coordinator類可以用來同時停止多個工作執行緒並且向那個在等待所有工作執行緒終止的程式報告異常,queueru...

MQ佇列管理器搭建(三)

描述 如上圖所示,為mq的集群搭建部署圖。clustera clusterb分別是兩個集群,其中qm1 qm3 gatewaya為clustera集群中的佇列管理器 qm1 qm3 gatewayb是clusterb集群中的佇列管理器。gatewaya與gatewayb負責網路路由和訊息分發,使用集...