關於Hadoop中5個主要的守護程序的作用

2021-06-03 05:35:41 字數 1191 閱讀 2925

一般如果正常啟動hadoop,我們可以在master上通過jps命令看到以下5個daemons:

[root@master ~]# jps

19803secondarynamenode

19994tasktracker

31144 jps

19571namenode

19672datanode

19887jobtracker

下面依次介紹這些程序:

1.namenode

它是hadoop 中的主伺服器,管理檔案系統命名空間和對集群中儲存的檔案的訪問。

2.secondarynamenode

它不是 namenode 的冗餘守護程序,而是提供週期檢查點和清理任務。

出於對可擴充套件性和容錯性等考慮,我們一般將secondarynamenode執行在一台非namenode的機器上。

3.datanode

它負責管理連線到節點的儲存(乙個集群中可以有多個節點)。每個儲存資料的節點執行乙個 datanode 守護程序。

4.jobtrackertasktracker

jobtracker負責排程datanode上的工作。每個datanode有乙個tasktracker,它們執行實際工作。

jobtrackertasktracker採用主-從形式,jobtrackerdatanode分發工作,而tasktracker執行任務。

jobtracker還檢查請求的工作,如果乙個datanode由於某種原因失敗,jobtracker會重新排程以前的任務。

其他資料:

Hadoop的5個守護程序

一般如果正常啟動hadoop,我們可以在master上通過jps命令看到以下5個daemons root master jps 31144 jps 19803secondarynamenode 19994tasktracker 19571namenode 19672datanode 19887job...

關於RHCE考試的30個主要方向

關於rhce考試的30個主要方向 考試大 中國教育考試第一門戶 以下 30 個重點是 rhce 考試的主要方向 1 熟悉 redhat linux 各種安裝選項,特別是網路安裝 2 了解 lilo grub 等啟動管理程式及開機流程 3 能夠事後安裝 rpm 及設定其它的安裝選項 4 了解 redh...

關於領域邏輯的三個主要模式

領域模型 領域模型是一張物件 資料 業務規則 實體等 連線成的網。對於簡單領域模型,一般來說,乙個資料庫表對應乙個物件 複雜領域模型則由很多細粒度物件組成,通過繼承 策略和其他設計模式,模擬複雜的領域邏輯。複雜領域模型需要使用資料對映器。表模組 按照我自己的理解,表模組可以簡單看作通過一系列的類來模...