在使用spark的時候，有時候我們會關注job的歷史日誌，但是在spark中預設情況下，歷史日誌是關閉的，在本篇部落格中主要介紹一下如何啟動spark的歷史日誌。
博主的環境為：
如何安裝spark的偽分布，請參考博文：spark 2.0.0 偽分布安裝
//將模板檔案修改為配置檔案
cp spark-defaults.conf.template spark-defaults.conf
//修改的配置資訊
spark.eventlog.enabled true
//設定hdfs的目錄，需要和自己hadoop的目錄匹配
//配置檔案最後加入
spark不會自動建立日誌資料夾，因此需要我們自己建立
//首先進入hadoop的bin目錄
cd /usr/local/hadoop/bin
//建立資料夾命令
./hadoop fs -mkdir /var
./hadoop fs -mkdir /var/log
./hadoop fs -mkdir /var/log/spark
//進入spark的bin目錄
cd /usr/local/spark/sbin
//如果spark集群正在啟動，首先停止集群
./stop-all.sh
//重新啟動集群
./start-all.sh
//啟動job歷史埠
spark 檢視yarn日誌 spark提交任務
standalone模式兩種提交任務方式 standalone client提交任務方式 提交命令 spark submit master spark node1 7077 class org.apache.spark.examples.sparkpi lib spark examples 1.6....
spark 2 0 0提交jar任務的幾種方式
對應引數改為適合自己的模式即可 集群模式 限制資源，後台執行 spark submit class test.streamings master spark deploy mode cluster executor memory 500m total executor cores 5 sparkde...
Linux 檢視檔案內容（8）
我們知道在圖形介面上檢視檔案內容只需要雙擊開啟就好，那麼在終端視窗裡怎麼檢視檔案內容呢？顯然是需要能有乙個命令能把檔案內容顯示在終端介面上。檢視檔案內容主要有兩個命令，分別是 cat 和 more，還有乙個 grep命令可以查詢檔案對應內容。慢慢介紹。它的特點是會一次顯示所有內容，適合檢視內容較少 ...