hadoop日誌聚合

2021-09-16 21:19:01 字數 1071 閱讀 7627

一、在yarn-site.xml檔案中新增日誌監控支援

該配置中新增下面的配置:

5二、在mapred-site.xml檔案中新增日誌服務的配置

該配置檔案中新增如下配置:若是有了的話,無需再次新增

mapreduce.framework.name

yarn

mapreduce.jobhistroy.address

master:10020

master:19888

scp 命令將配置檔案拷貝覆蓋到其他機器

四、重新啟動集群的hdfs和yarn服務

./start-all.sh

五、 開啟日誌監控服務程序

在nodenode機器上執行 sbin/mr-jobhistory-daemon.sh start historyserver 命令,執行完成後使用jps命令檢視是否啟動成功,若啟動成功則會顯示出jobhistoryserver服務

yarn 日誌聚合功能

在yarn集群上執行作業的時候,日誌聚合是沒有執行的。只有當整個作業完成的時候,才能將各個node上的日誌上傳到hadoop上。而且缺省會刪除本節點的日誌刪除,所以你無法從yarn的web查詢日誌了。start aggerate key yarn.log aggregation enable val...

hadoop 日誌引數

1 mapreduce執行日誌引數 預設設定,訪問在hdfs上,重啟後將丟失,可通過mapred site.xml修改路徑設定 分為歷史日誌引數和執行日誌引數 mapreduce.jobhistory.done dir mapreduce.jobhistory.intermediate done d...

Hadoop日誌介紹

1 hadoop日誌路徑 opt software hadoop 2.8.1 logs 2 日誌介紹 3 namenode報錯,如何查詢問題所在?1 定位到日誌 tail f hadoop root namenode hadoop001.log 2 開啟另外乙個會話,清空日誌檔案,cat dev n...