hadoop 日誌引數

2021-08-04 08:28:54 字數 557 閱讀 6726

1、mapreduce執行日誌引數(預設設定,訪問在hdfs上,重啟後將丟失,可通過mapred-site.xml修改路徑設定):

分為歷史日誌引數和執行日誌引數

mapreduce.jobhistory.done-dir

mapreduce.jobhistory.intermediate-done-dir

/tmp/hadoop-yarn/staging

2、container執行日誌(存放在本地檔案系統上)

包含am日誌和普通task日誌,預設情況下是存在$/logs/userlogs上,可通過以下引數修改

yarn.nodemanager.log-dirs

$/userlogs

3、啟用歷史服務,可檢視mapreduce的歷史執行日誌:

mr-jobhistory-daemon.sh start historyserver

即可在19888埠上開啟歷史伺服器的web ui介面

mapreduce.jobhistory.address

master:10020

master:19888

Hadoop日誌介紹

1 hadoop日誌路徑 opt software hadoop 2.8.1 logs 2 日誌介紹 3 namenode報錯,如何查詢問題所在?1 定位到日誌 tail f hadoop root namenode hadoop001.log 2 開啟另外乙個會話,清空日誌檔案,cat dev n...

hadoop日誌聚合

一 在yarn site.xml檔案中新增日誌監控支援 該配置中新增下面的配置 5二 在mapred site.xml檔案中新增日誌服務的配置 該配置檔案中新增如下配置 若是有了的話,無需再次新增 mapreduce.framework.name yarn mapreduce.jobhistroy....

Hadoop除錯日誌

1.export hadoop root logger debug,console 2.使用hadoop shell命令daemonlog 192.168.142.111 9870,這裡的埠是http埠3.通過web介面 使用者可以通過web介面檢視和修改某個類的日誌級別,比如,可通過以下url修改...