hadoop 預設是不啟用日誌聚集的。 在 yarn-site.xml 檔案裡配置啟用日誌聚集。
mapreduce.jobhistory.address
192.168.1.105:10020
192.168.1.105:19888
yarn.log-aggregation-enable
true
yarn.log-aggregation.retain-seconds
106800
yarn.log-aggregation.retain-seconds : 設定日誌保留時間， 單位是秒。
配置 spark-defaults.conf
spark.eventlog.enabled true
spark.eventlog.dir file:///home/spark-2.1.1-bin-hadoop2.6.0/history_log
spark.history.update.interval 1
spark.history.ui.port 18080
sbin/start-history-server.sh /home/spark-2.1.1-bin-hadoop2.7/history_log[hadoop@bigdata hadoop-2.6.0]$ sbin/stop-yarn.sh
[hadoop@bigdata hadoop-2.6.0]$ sbin/start-yarn.sh
/usr/local/hadoop-2.6.0目錄下執行如下命令
[hadoop@bigdata hadoop-2.6.0]$ sbin/mr-jobhistory-daemon.sh stop historyserver
[hadoop@bigdata hadoop-2.6.0]$ sbin/mr-jobhistory-daemon.sh start historyserver
bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /input /output1執行 job 後， 就可以在歷史伺服器 web 頁面檢視各個 map 和 reduce 的日誌了。
日誌也可以通過spark web ui來檢視executor的輸出日誌
但是此時需要啟動history server，需要讓spark history server和mapreduce history server執行著
並且在yarn-site.xml檔案中，配置yarn.log.server.url屬性
spark history server web ui中的log url，會將你重定向到mapreduce history server上，去檢視日誌
引數配置yarn-site.xml
1. yarn.log-aggregation-enable
引數說明：是否啟用日誌聚合功能，日誌聚合開啟後儲存到hdfs上。
預設值：false
2. yarn.log-aggregation.retain-seconds
引數說明：聚合後的日誌在hdfs上儲存多長時間，單位為s。
預設值：-1（不啟用日誌聚合），例如設定為86400，24小時
3. yarn.log-aggregation.retain-check-interval-seconds
引數說明：刪除任務在hdfs上執行的間隔，執行時候將滿足條件的日誌刪除（超過引數2設定的時間的日誌），如果是0或者負數，則為引數2設定值的1/10，上例值在此處為8640s。
預設值：-1
4. yarn.nodemanager.log.retain-seconds
引數說明：當不啟用日誌聚合此引數生效，日誌檔案儲存在本地的時間，單位為s
預設值：10800
引數說明：當應用程式執行結束後，日誌被轉移到的hdfs目錄（啟用日誌聚集功能時有效），修改為儲存的日誌資料夾。
預設值：/tmp/logs
引數說明：遠端日誌目錄子目錄名稱（啟用日誌聚集功能時有效）。
預設值：logs 日誌將被轉移到目錄yar
n.no
dema
nage
r.re
mote
−app
−log
−dir
/ya
rn.n
odem
anag
er.r
emot
e−ap
p−lo
g−di
r//$下
配置日誌聚集
所謂日誌聚集，就是指應用執行完以後，將程式的執行日誌資訊上傳到hdfs系統上。日誌聚集可以方便的檢視程式的執行詳情，方便開發除錯。開啟日誌聚集，需要重啟nodemanager resourcemanager和historymanager。1.配置yarn site.xml檔案 yarn.log ag...
yarn 日誌聚集配置
日誌聚集是yarn提供的日誌 化管理功能，它能將執行完成的container 任務日誌上傳到hdfs上，從而減輕nodemanager負載，且提供乙個 化儲存和分析機制。預設情況下，container 任務日誌存在在各個nodemanager上，如果啟用日誌聚集功能需要額外的配置。1 yarn.lo...
YARN的日誌聚集配置使用
說明 修改路徑 hadoop etc hadoop下的yarn site.xml。新增兩個屬性並儲存上傳伺服器。屬性1 表示在yanr上開啟聚合日誌服務。屬性2 表示聚合日誌在伺服器上的存留時間。sbin yarn daemon.sh start resourcemanager sbin yarn ...