Hadoop入門的五個程序的理解(二)

2021-07-11 08:47:05 字數 1009 閱讀 8940

1,namenode:

相當於乙個領導者,負責排程 比如你需要存乙個640m的檔案

如果按照64m分塊 那麼namenode就會把這10個塊(這裡不考慮副本)

分配到集群中的datanode上 並記錄對於關係 。

它主要維護兩個map 乙個是檔案到塊的對應關係 乙個是塊到節點的對應關係

2,secondarynamenode:

它是namenode的乙個快照,

會根據configuration中設定的值來決定多少時間週期性的

去cp一下namenode,記錄namenode中的metadata及其它資料

3,nodemanager:

它是yarn中每個節點上的**,

它管理hadoop集群中單個計算節點,包括與resourcemanger

保持通訊,監督container的生命週期管理,監控每個container的

資源使用(記憶體、cpu等)情況,追蹤節點健康狀況,管理日誌和

不同應用程式用到的附屬服務(auxiliary service)。

4,datanode:

a,datanode的需要完成的首要任務是k-v儲存

b,完成和namenode 通訊 ,這個通過ipc 心跳連線實現。

此外還有和客戶端 其它datanode之前的資訊交換

c,完成和客戶端還有其它節點的大規模通訊,這個需要直接通過socket 協議實現。

5,resourcemanager:

resourcemanager (rm) 是管理所有可用的集群資源並協助管理執行

在yarn上的分布式應用的主要元件。rm與每個節點的nodemanagers (nms)

a.nodemanagers 遵循來自resourcemanager的指令來管理單一節點上的可用資源。

與nodemanagers合作啟動容器

hadoop的五個守護程序

一般如果正常啟動hadoop,我們可以在master上通過jps命令看到以下5個daemons root master jps 19803secondarynamenode 19994tasktracker 31144 jps 19571namenode 19672 datanode 19887 j...

hadoop的五個守護程序

hadoop的五個守護程序 一般如果正常啟動hadoop,我們可以在master上通過jps命令看到以下5個daemons root master jps 31144 jps 19803 secondarynamenode 19994 tasktracker 19571 namenode 19672...

Hadoop的5個守護程序

一般如果正常啟動hadoop,我們可以在master上通過jps命令看到以下5個daemons root master jps 31144 jps 19803secondarynamenode 19994tasktracker 19571namenode 19672datanode 19887job...