Spark 2 2 日誌伺服器搭建

對於mapreduce的historyserver只能記錄mr的執行log，因此對於spark需要單獨部署自己的historyserver。

1.確認spark已經完成安裝，且環境變數已如下設定

[hadoop@hadoop02 conf]$ echo $spark_home

log的目錄必須先建立好。

spark.master                     yarn

spark.eventlog.enabled true
spark.eventlog.dir hdfs://hadoopha/spark/directory
spark.history.fs.logdirectory hdfs://hadoopha/spark/historylog

這裡我們關心的是日誌伺服器讀取的配置資訊從哪獲取？通過分析原始碼，發現主要從spark-config.sh和load-spark-env.sh中獲取，但最終是來自spark-defaults.conf和spark-env.sh。

if [ -z "$" ]; then

export spark_home="$(cd "`dirname "$0"`"/..; pwd)"
fi#$spark_home字元長度不為0，因此if語句不執行
3 由於spark-defaults.conf中配置的hadoopha，而不是直接指定namenode節點，所以spark-env.sh必須包含
4 啟動後的介面如下
表示啟動成功，程序名字為historyserver
Centos7日誌伺服器
1 日誌的功能 1 用於記錄系統 程式執行中發生的各種事件 2 通過閱讀日誌，有助於診斷和解決系統故障 2 日誌檔案的分類 1 核心及系統日誌 2 使用者日誌 3 程式日誌 3 日誌的預設儲存位置 var log 4 管理日誌的服務 rsyslogd root localhost vim etc r...
Centos7日誌伺服器配置
客戶端需修改檔案位於 etc rsyslog.conf 只需要把尾部 remote host 514刪除 並把 替換為 remote host 替換為日誌伺服器主機 ip即可 注 日誌預設使用 udp協議，使用 則使用 tcp協議。伺服器端修改修改 etc rsyslog.conf 檔案以及 etc...
搭建日誌伺服器
本人用了兩個centos7虛擬機器，乙個作為客戶端，乙個作為伺服器，搭建了乙個日誌伺服器，步驟如下 1.客戶端 172.20.10.8 修改 etc rsyslog.conf 新增 syslog.info server ip 如圖所示 2.日誌伺服器 172.20.10.7 修改 etc sysco...