hadoop集群常用程序及含義

2021-10-05 21:22:18 字數 494 閱讀 1329

1、namenode

namenode主要是用來儲存hdfs的元資料資訊,比如命名空間資訊,塊資訊等。是hadoop的主伺服器,管理檔案系統命名空間和集群儲存的檔案訪問。

2、datanode

datanode負責管理連線到節點的儲存。每個儲存資料的節點執行乙個datanode守護程序。

3、secondarynamenode

secondarynamenode不是 namenode 的冗餘守護程序,該程序提供週期檢查點和清理任務。出於擴充套件性和容錯性的考慮,一般將secondarynamenode執行在一台非namenode的機器上。

4、resourcemanager

resourcemanager是yarn集群主控節點,負責協調和管理整個集群(所有nodemanager)的資源。

5、nodemanager

nodemanager管理乙個yarn集群中的每乙個節點。比如監視資源使用情況( cpu,記憶體,硬碟,網路),跟蹤節點健康等。

hadoop集群預設配置和常用配置

配置hadoop,主要是配置core site.xml,hdfs site.xml,mapred site.xml三個配置檔案,預設下來,這些配置檔案都是空的,所以很難知道這些配置檔案有哪些配置可以生效,上網找的配置可能因為各個hadoop版本不同,導致無法生效。瀏覽更多的配置,有兩個方法 2.瀏覽...

hadoop集群預設配置和常用配置

這裡是瀏覽hadoop當前版本號的預設配置檔案,其他版本號,要另外去官網找。其中第乙個方法找到預設的配置是最好的,因為每個屬性都有說明,可以直接使用。另外,core site.xml是全域性配置,hdfs site.xml和mapred site.xml分別是hdfs和mapred的區域性配置。hd...

hadoop集群預設配置和常用配置

配置hadoop,主要是配置core site.xml,hdfs site.xml,mapred site.xml三個配置檔案,預設下來,這些配置檔案都是空的,所以很難知道這些配置檔案有哪些配置可以生效,上網找的配置可能因為各個hadoop版本不同,導致無法生效。瀏覽更多的配置,有兩個方法 2.瀏覽...