hadoop歷史服務配置,啟動日誌聚集功能

2021-09-24 22:18:55 字數 462 閱讀 4043

需求:在8088埠上,對已經結束的任務,無法檢視歷史資訊(19888)

歷史資訊記錄:有幾個map task,有幾個reduce task,任務什麼時候提交了,什麼啟動,什麼時候完成。

sbin/mr-jobhistory-daemon.sh start historyserver
當mapreduce程式在yarn上執行過程中,產生一些日誌檔案,需要將這些日誌檔案收集上傳hdfs,一遍後續監控檢視

yarn:主節點和從節點

注意:必須重啟yarn和jobhistoryserver服務才生效,需要重新讀取配置檔案

Hadoop配置歷史伺服器

配置歷史伺服器 為了檢視程式的歷史運 況,需要配置一下歷史伺服器。具體配置步驟如下 配置mapred site.xml atguigu hadoop101 hadoop vi mapred site.xml 在該檔案裡面增加如下配置。mapreduce.jobhistory.addressname ...

hadoop配置歷史伺服器

1 配置 mapred site.xml root master hadoop 2.7.2 vimapred site xml 在該檔案裡面增加如下配置。mapreduce.jobhistory.address master 10020 master 19888 2.啟動歷史伺服器 root mas...

hadoop配置歷史伺服器 配置日誌聚集

配置歷史伺服器 1 在mapred site.xml中寫入一下配置 property name mapreduce.jobhistory.address name value hadoop101 10020 value property property name name value hadoop...