Hadoop日誌介紹

2021-09-11 23:43:23 字數 626 閱讀 8105

1、hadoop日誌路徑

/opt/software/hadoop-2.8.1/logs

2、日誌介紹

3、namenode報錯,如何查詢問題所在?

(1)定位到日誌

tail -f hadoop-root-namenode-hadoop001.log

(2)開啟另外乙個會話,清空日誌檔案,cat/dev/null>hadoop-root-namenode-hadoop001.log

(3)重啟namenode程序(為了復現namenode有什麼問題)

4、上傳到windows

sz hadoop-root-namenode-hadoop001.log 到window,開啟

找到error

注意:

生產上,其實檢視程序就可以發現留有很多日誌資訊,比方說日誌在什麼檔案路徑下,比方說這個程序是哪個使用者在使用,哪個使用者才有許可權啟動,另外!!!切記不能隨便kill程序!!

hadoop 日誌引數

1 mapreduce執行日誌引數 預設設定,訪問在hdfs上,重啟後將丟失,可通過mapred site.xml修改路徑設定 分為歷史日誌引數和執行日誌引數 mapreduce.jobhistory.done dir mapreduce.jobhistory.intermediate done d...

hadoop日誌聚合

一 在yarn site.xml檔案中新增日誌監控支援 該配置中新增下面的配置 5二 在mapred site.xml檔案中新增日誌服務的配置 該配置檔案中新增如下配置 若是有了的話,無需再次新增 mapreduce.framework.name yarn mapreduce.jobhistroy....

Hadoop除錯日誌

1.export hadoop root logger debug,console 2.使用hadoop shell命令daemonlog 192.168.142.111 9870,這裡的埠是http埠3.通過web介面 使用者可以通過web介面檢視和修改某個類的日誌級別,比如,可通過以下url修改...