Hadoop2 執行機制簡介

2021-07-09 07:43:42 字數 467 閱讀 3362

在上圖中resourcemanager支援分層級的應用佇列,這些佇列享有集群一定比例的資源。從某種意義上講它就是乙個純粹的排程器,它在執行過程中不對應用進行監控和狀態跟蹤。同樣,它也不能重啟因應用失敗或者硬體錯誤而執行失敗的任務。

resourcemanager 是基於應用程式對資源的需求進行排程的 ; 每乙個應用程式需要不同型別的資源因此就需要不同的容器。資源包括:記憶體,cpu,磁碟,網路等等。可以看出,這同現 mapreduce 固定型別的資源使用模型有顯著區別,它給集群的使用帶來負面的影響。資源管理器提供乙個排程策略的外掛程式,它負責將集群資源分配給多個佇列和應用程式。排程外掛程式可以基於現有的能力排程和公平排程模型。

在上圖中 nodemanager 是每一台機器框架的**,是執行應用程式的容器,監控應用程式的資源使用情況 (cpu,記憶體,硬碟,網路 ) 並且向排程器匯報。

乙個job從提交到執行的過程差不多如上所述。

參考鏈結

1.

區塊鏈執行機制簡介

區塊鏈技術是構建位元幣區塊鏈網路與交易資訊加密傳輸的基礎技術,其解決的核心問題是如何在缺少可信任 節點和可信任通道的情況下,分布在網路中的節點如何達成共識。區塊鏈被定義為乙個分布式的賬本,即每個區塊鏈的節點都擁有系統所有交易的資訊和資料。所以區塊鏈系統具有極大的魯棒性,因為每個節點僅僅是系統的一部分...

Hadoop中yarn的執行機制

轉至 1.1 yarn 基本架構 1.2 yarn基本組成結構 1.resourcemanager rm 1 排程器 排程器根據容量 佇列等限制條件 如每個佇列分配一定的資源,最多執行一定數量的作業等 將系統中的資源分配給各個正在執行的應用程式。2 應用程式管理器 使用者提交的每個應用程式均包含1個...

Hadoop中yarn的執行機制

轉至 1.1 yarn 基本架構 1.2 yarn基本組成結構 1 排程器 排程器根據容量 佇列等限制條件 如每個佇列分配一定的資源,最多執行一定數量的作業等 將系統中的資源分配給各個正在執行的應用程式。2 應用程式管理器 使用者提交的每個應用程式均包含1個am,主要功能包括 與rm排程器協商以獲取...