由於spark on yarn的日誌會在stderr裡面一直追加，而且streaming又是長應用，那麼stderr會一直增長。解決辦法就是把stderr按天切割，這樣我們就可以刪除之前的日誌了。
1. 首先，把集群中的hadoop的log4j檔案/etc/hadoop/conf/log4j.properties新增如下兩行：
log4j.additivity.com.kingsoft = false com.kingsoft是專案的包名
log4j.additivity.org.apache.spark = false
最終的結果如下：
2. 編寫乙個 log4j.properties 檔案，內容如下：
# set everything to be logged to the console
log4j.rootcategory=info, click_all
# settings to quiet third party logs that are too verbose
log4j.logger.org.apache.spark.repl.sparkimain$exprtyper=info
log4j.logger.org.apache.spark.repl.sparkiloop$sparkiloopinterpreter=info
log4j.additivity.com._58city = false
log4j.logger.com._58city = info, click
3.在提交命令spark-submit中新增如下引數
啟動後，即可看到日誌會被按天切割。
以上是同事的幫助，才整理出來的，感謝昊哥。
apache切割日誌
系統環境 ubuntu11.04 apache2 使用apache自帶的rotatelog進行日誌切割，可將日誌的檔名以年月日時分秒儲存，如2011 10 21 14 20 00，設定如下 首先在apache2的目錄下有個sites enabled資料夾，裡面有個000 default檔案，在該資料...
nignx 日誌切割
bin bash logs path usr local nginx logs pid path usr local nginx logs nginx.pid mv access.log access date d yesterday y m d log kill usr1 cat 顏色部分需要結合...
nginx日誌切割
web 訪問日誌 access log 記錄了所有外部客戶端對web伺服器的訪問行為，包含了客戶端ip，訪問日期，訪問的url資源，伺服器返回的http狀態碼等重要資訊。一條典型的web訪問日誌如下 規劃 1 要解決問題 2 nignx沒有自動分開檔案儲存日誌的機制。由於nginx它不會幫你自動分檔...