1、修改mapred-site.xml
mapreduce.framework.name
yarn
yarn.resourcemanager.hostname
chan-takchi
the hostname of the rm.
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.shufflehandler
yarn.scheduler.capacity.maximum-am-resource-percent
100
在頁面上可以看到，任務會一直處在狀態，"accepted: waiting for am container to be allocated,launched and register with rm."，最終任務失敗。
4、檢視日誌並分析
原因在於，rm和nm機器的hosts檔案是一致的，而且yarn-site.xml裡的yarn.nodemanager.hostname在沒有指定的情況下採用的是主機的hostname，所以nm的位址為ubuntu:49135，而rm訪問ubuntu時用的是本地hosts配置的ip，訪問了自身49135埠，由於該埠並未開啟，所以會訪問失敗。
5、解決方案
為每個nm配置乙個不一樣的網域名稱並在yarn.nodemanager.hostname裡指定。如果nm預設的hostname一樣而yarn.nodemanager.hostname恰巧又沒有指定其他網域名稱的話，將會出現以下的情況（node http address），無法區分哪乙個nm在哪乙個機器上。
最後給出能正確執行mr任務的yarn-site.xml配置，這樣的乙個缺點就是每個nm都要維護乙份yarn-site.xml，除非預設的hostname不一樣。
yarn.resourcemanager.hostname
chan-takchi
the hostname of the rm.
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.shufflehandler
yarn.scheduler.capacity.maximum-am-resource-percent
100 yarn.nodemanager.hostname
chan-takchi-01
does not contain a valid host:port authority: chan.takchi.01:8040 (configuration property 'yarn.nodemanager.localizer.address')Hadoop2 7 3安裝配置
hadoop四大模組 1 common 2 hdfs namenode datanode secondarynamenode 3 mapred 4 yarn resourcemanager nodemanager 1 hadoop 最好不要用root 使用者，所以首先新建乙個普通使用者 樓主建的普通...
Hadoop 3 2 2 集群安裝
一 虛擬機器環境準備 系統主機 位址hadoop版本 jdk版本 centos9 hadoop01 10.211.55.4 3.2.2 1.8.0 322 centos9 hadoop02 10.211.55.7 3.2.2 1.8.0 322 centos9 hadoop03 10.211.55....
HADOOP集群搭建 8 集群時間同步
1 檢查是否安裝ntp rpm qa grep ntp 安裝ntp yum install y ntp 安裝成功截圖 2 修改ntp配置檔案 修改3處 restrict 192.168.183.0 mask 255.255.255.0 nomodify notrap server 0.centos....