YARN學習總結 第五節 YARN保留系統

2021-08-25 16:54:46 字數 698 閱讀 9238

reservation system

yarn提供保留系統,允許使用者提前或者設定保留資源給重要作業。通過絕對數值的形式指定代替百分比。保留系統是乙個yarn resourcemanager的元件。

保留系統工作流程

0.使用者提交乙個保留建立請求,返回乙個reservationid

1.使用者提交乙個用rdl(reservation definition language)表示的規格檔案和reservationid組成的保留請求。這個檔案描述了使用者需要resource over-time和temporal constraints

2.保留系統會啟動乙個客戶端去查詢合理的資源分配。一般是通過乙個計畫,計畫是乙個資料結構,描述了當前已經接受的保留和可獲得的資源。

3.sharingpolicy提供一種方式去接受或者拒絕保留。

4.成功驗證後,會返回使用者乙個reservationid

5.到一定時間,乙個新的元件planfollower推送計畫的狀態給排程器。

6.使用者可以提交乙個作業到保留佇列,可以明確指定保留id作為提交上下文的一部分。

7.排程器提供乙個容器去報資源保留。

8.系統同時提供乙個機制去適配或者丟棄集群容量。

配置保留系統

目前,系統提供容量排程器和公平排程器配置保留系統,具體配置可以參考相應的排程器配置。

函式第五節

coding utf 8 1.定義乙個func name 該函式效果如下。assert func lilei lilei assert func hanmeimei hanmeimei assert func hanmeimei hanmeimei def title name if isinsta...

第五節 字典

字典的表現形式為大括號 dict key必須可hash,必須唯一且必須為不可改變的資料型別 value可存放任意多個值,可修改,可不唯一 無序且查詢速度快 鍵 值 鍵值對 1 dic.keys 返回乙個包含字典所有key的列表 2 dic.values 返回乙個包含字典所有value的列表 3 di...

第五節 列表(list)

lpush listname value lpush 命令將乙個或多個值插入到列表頭部。lpush newlist valuea valueb lindex listname index 佇列從做往右,索引從0開始。隊頭在左邊,新插入的元素就是索引為0的元素。你也可以使用負數下標,以 1 表示列表的...