Spark日誌級別修改

2022-05-04 01:33:09 字數 1119 閱讀 6888

在學習使用spark的過程中,總是想對內部執行過程作深入的了解,其中debug和trace級別的日誌可以為我們提供詳細和有用的資訊,那麼如何進行合理設定呢,不複雜但也絕不是將乙個info換為trace那麼簡單。

調整spark日誌級別的配置檔案是$spark_home/conf/log4j.properties,預設級別是info,如果曾經將其改為debug的朋友可能會有這樣的經歷,有用的資訊還沒看完,就被大量的心跳檢測日誌給淹沒了。

只將需要的日誌級別調整為_trace_,而將心跳檢測類的設定為_info_級別以上,避免干擾。

# set everything to be logged to the console

log4j.rootcategory=info, console

# settings to quiet third party logs that are too verbose

log4j.logger.org.eclipse.jetty=warn

log4j.logger.org.eclipse.jetty.util.component.abstractlifecycle=error

log4j.logger.org.apache.spark.repl.sparkimain$exprtyper=info

log4j.logger.org.apache.spark.repl.sparkiloop$sparkiloopinterpreter=info

log4j.logger.org.apache.spark.sql.sqlcontext=trace

log4j.logger.org.apache.spark.sql.catalyst.analysis.analyzer=trace

log4j.logger.org.apache.spark=trace

log4j.logger.org.apache.spark.storage.blockmanagermasteractor=warn

log4j.logger.org.apache.spark.heartbeatreceiver=warn

log4j.logger.org.apache.spark.scheduler.local.localactor=warn

jmeter修改預設日誌級別,預設顯示日誌面板

背景 利用jmeter測試介面時,比較複雜的介面,需要加密等等,可能會需要列印執行過程中的中間資料。jmeter並沒有提供顯示這些資料的專門的地方和介面,只能採用beanshell指令碼,利用log輸出。然而jmeter內部的日誌也是在此日誌面板顯示,有太多的不需要的資訊。為了過濾不必要的資訊,設定...

jenkins修改日誌級別方法

1 jenkins日誌有時候也會消耗掉很大記憶體,在傳輸時也會消耗掉大量頻寬,如圖,300 m的日誌大小,太誇張了吧 2 修改日誌級別的方法 在配置檔案裡修改,重啟後永久生效,配置路徑 etc sysconfig jenkins 如下圖所示,預設級別為5 info 方法二 系統管理 系統日誌 日誌級...

Logback 動態修改日誌級別

本文前提是你要對logback配置檔案有所了解 動態修改日誌級別主要就是呼叫logger.setlevel方法,對level設定不同的級別,比如,我想將當前的日誌系統從其他級別設定成info級別,則 應該是下面這樣子的 import ch.qos.logback.classic.level impo...