HDFS體系結構 各種程序狀態

2021-09-27 12:47:00 字數 1097 閱讀 4119

namenode預設大小1000m

namenode守護程序作用:

維護hdfs集群元資料的映象檔案[fsimage],【fsimage】包括:檔案屬性資訊,檔案與block塊的對應關係

維護客戶端對hdfs的相關操作,並記錄[edits_log]

接收所有來自datanode的心跳匯報,內容:block塊的資訊與所屬節點位置

datanode守護程序作用:

datanode負責實時監控當前節點的執行狀態

datanode以block塊的形式進行儲存

datanode要響應客戶端的請求

【定期合併fsimage檔案和edits_log檔案,保證集群的可靠性】

secondarynamenode守護作用:【解決hdfs的可靠性】

可靠性:

作用:監控並分配集群全域性資源,包括:cpu、記憶體、磁碟和網路。

通過心跳機制獲取每個nodemanager節點的資源資料以及運**況。

作用:管理並監控當前節點(自己)的資源使用情況。

通過心跳機制向resourcemanager進行匯報,匯報內容:cpu、記憶體、磁碟和網路。

使用者執行啟動task任務(maptask和reducetask)。

【隨應用的開啟而開啟,生命週期同應用】

方式一:start-dfs.sh + start-yarn.sh

start-yarn.sh會開啟如下執行緒:【只能在主節點執行該命令,從節點執行resourcemanager無法開啟】

start-yarn.sh會開啟如下執行緒:【只能在主節點執行該命令,從節點執行resourcemanager無法開啟】

方式二:

hadoop-daemon.sh start namenode +

hadoop-daemon.sh start datanode +

hadoop-daemon.sh start secondarynamenode +

start-yarn.sh

hadoop-daemon.sh start datanode

【通常採用方式二開啟守護程序】

從節點:

HDFS體系結構

1 什麼是分布式檔案系統?於是有了分布式檔案系統,分布式檔案系統允許檔案通過網路在多台主機上分享檔案,可以讓多機器上的使用者分享檔案和儲存空間,讓使用者感覺像是在訪問一台機器。hdfs是分布式檔案系統的一種,不適合小檔案,適用於一次寫多次讀的情況,不支援併發寫。那麼元資訊存在哪呢?在hadoop t...

CPU各種體系結構

本貼 http hi.baidu.com shentuhongfeng blog item 2d9bb01fdd4fedf9e0fe0b8d.html cpu體系結構的選定也決定了其他硬體的選擇。不同的cpu需要不同的主機板,主機板決定了所能選擇的儲存器和您要使用的插卡 plug in card 1...

HDFS的體系結構和操作

hdfs fs 常用命令 1.對hdfs操作的命令格式是hadoop fs 1.1 ls 表示對hdfs下一級目錄的檢視 hadoop fs ls hdfs chaoren 9000 對hdfs的根目錄進行檢視 linux下 ls path 這個可以使用more core site.xml進行檢視,...