spark配置歷史服務

2021-10-22 06:45:31 字數 1099 閱讀 5553

修改spark-defaults.conf.template檔名

mv spark-defaults.conf.template spark-defaults.conf
修改spark-default.conf檔案，配置日誌儲存路徑
spark.eventlog.enabled          true


spark.eventlog.dir hdfs://hadoop102:8020/directory
注意：需要啟動hadoop集群

（hadoop102: start-dfs.sh hadoop103: start-yarn.sh）

（後面學習配置群起指令碼，之後補充筆記））

hdfs上的directory目錄需要提前存在。

8020為你的master主機埠號可在hadoop安裝目錄下的core.site.xml檔案中檢視

sbin/start-dfs.sh


hadoop fs -mkdir /directory
修改spark-env.s**件, 新增日誌配置

引數1含義：webui訪問的埠號為18080

分發配置檔案

xsync conf
重新啟動集群和歷史服務
sbin/start-all.sh


sbin/start-history-server.sh
重新執行任務
bin/spark-submit \


檢視歷史服務：http://hadoop102:18080
 
Hadoop配置歷史伺服器
配置歷史伺服器 為了檢視程式的歷史運 況，需要配置一下歷史伺服器。具體配置步驟如下 配置mapred site.xml atguigu hadoop101 hadoop vi mapred site.xml 在該檔案裡面增加如下配置。mapreduce.jobhistory.addressname ...


hadoop配置歷史伺服器
1 配置 mapred site.xml root master hadoop 2.7.2 vimapred site xml 在該檔案裡面增加如下配置。mapreduce.jobhistory.address master 10020 master 19888 2.啟動歷史伺服器 root mas...


hadoop配置歷史伺服器 配置日誌聚集
配置歷史伺服器 1 在mapred site.xml中寫入一下配置 property name mapreduce.jobhistory.address name value hadoop101 10020 value property property name name value hadoop...