Flink日誌相關

2021-10-25 14:31:02 字數 1568 閱讀 4369

flink日誌的使用

直接在類內定義,即可使用。

當然了,pom匯入,看你喜歡怎麼用了

>

>

org.slf4jgroupid

>

>

slf4j-log4j12artifactid

>

>

1.7.7version

>

>

runtimescope

>

dependency

>

>

>

log4jgroupid

>

>

log4jartifactid

>

>

1.2.17version

>

>

runtimescope

>

dependency

>

使用

import org.slf4j.logger;

import org.slf4j.logge***ctory;

public

class

streamingjob

; rowtypeinfo rowtypeinfo =

newrowtypeinfo

(fieldtypes)

;//讀mysql

dataset

datasource = fbenv.

createinput

(jdbcinputformat.

buildjdbcinputformat()

.setdrivername

("com.mysql.jdbc.driver").

setdburl

("jdbc:mysql://***/***").

setusername

("***").

setpassword

("***").

setquery

("***").

setrowtypeinfo

(rowtypeinfo)

.finish()

);datasource.

map(

newmapfunction

()})

; fbenv.

execute()

}}

flink輸出日誌檢視

關於flink輸出日誌的檢視,分為兩種(主要用於除錯任務)

1>運算元外輸出日誌

2>運算元內輸出日誌

如此,已經可以滿足日常的除錯排錯啦

Flink相關異常解決

本文開頭附 flink 學習路線系列 錯誤資訊 exception in thread main org.apache.flink.table.api.tableexception arity 2 of result lorg.apache.flink.api.common.typeinfo.typ...

日誌採集 基於Flink的日誌採集

目前基於elk架構的日誌系統,通過filebeat收集上來的日誌都會傳送到同乙個kafka topic中,然後再由logstash消費處理寫入elasticsearch中,這種方式導致該topic包含所有業務日誌,那麼各個業務去做實時統計分析就會造成重複消費,使得流量成本的浪費 對於離線分析的日誌 ...

MySQL日誌相關

對於mysql的日誌還沒有仔細研究過,目前只是使用了乙個通用日誌,所以在這裡先列舉mysql的主要日誌檔案,接下來有時間會去研究一下,畢竟很多時候,日誌可以更精確的定位問題,所以了解一下mysql的日誌系統還是很有必要的。檢視日誌是否啟用 show variables like log 1 mysq...