yarn面試題彙總大全

2021-10-21 06:53:16 字數 1010 閱讀 2192

2.3 nodemanager

nodemanager 是每個節點上的資源和任務管理器,一方面,它會定期地向rm 匯報本節點上的資源使用情況和各個container 的執行狀態;另一方面,他接收並處理來自am 的container 啟動和停止請求。

3,yarn的工作流程

4.1 fifo scheduler(佇列排程器)

按任務提交的順序排成乙個佇列,這是乙個先進先出佇列。在進行資源分配的時候,先給佇列中最頭上的任務分配資源,然後再分配給下乙個。這是最簡單也是最容易理解的排程器,但是它不適用與共享集群,大的任務會占用所有的集群資源,這就導致其它任務被阻塞。

4.2 capacity scheduler(容量排程器)

capacity排程器允許多個組織共享整個集群,每個組織可以獲得集群的一部分計算能力。通過為每個組織分配專門的佇列,然後再為每個佇列分配一定的集群資源,這樣整個集群就可以通過設定多個佇列的方式為多個組織提供服務了。除此之外,佇列內部又可以垂直劃分,這樣乙個組織內部的多個成員就可以共享這個佇列資源,在乙個佇列的內部,資源的排程採用的是先進先出策略。

4.3 fair scheduler(公平排程器)

yarn resourcemanager 的高可用與 hdfs namenode 的高可用類似,但是 resourcemanager 不像 namenode ,沒有那麼多的元資料資訊需要維護,所以它的狀態資訊可以直接寫到 zookeeper 上,並依賴 zookeeper 來進行主備選舉。

大資料面試題 四 YARN面試題

無意中發現了乙個巨牛的人工智慧教程,忍不住分享一下給大家。教程不僅是零基礎,通俗易懂,而且非常風趣幽默,像看 一樣!覺得太牛了,所以分享給大家。點這裡可以跳轉到教程。大資料面試寶典目錄,簡述hadoop1 與hadoop2 的架構異同 加入了yarn 解決了資源排程的問題。加入了對zookeeper...

面試題彙總

1.佇列先進先出,棧先進後出。2.對插入和刪除操作的 限定 棧是限定只能在表的一端進行插入和刪除操作的線性表。佇列是限定只能在表的一端進行插入和在另一端進行刪除操作的線性表。從 資料結構 的角度看,它們都是線性結構,即資料元素之間的關係相同。3.遍歷資料速度不同。順序表是在記憶體中開闢一段連續的空間...

面試題彙總

1 integer和int的區別?2 和equals的區別?int a 50,integer b 50 a b?integer c 50,b c?3 get和post的區別?4 用執行緒池建立執行緒和自己建立執行緒的區別,好處是什麼?5 利用int型陣列實現乙個棧,並實現出棧和入棧操作?要求時間複雜...