Kibana配置logstash,報表一體化

2021-09-13 03:34:26 字數 1688 閱讀 5210

logstash:接收,處理,**日誌

elasticsearch:文件型資料庫,實時的分布式搜尋和分析引擎

kibana:查詢、生成報表的web gui

在安裝目錄bin資料夾裡新建乙個logstash.conf

一般配置如下:

# 輸入輸入

input }

# 資料處理

filter "]

}}# 資料輸出

output }

配置檔案語法類似ruby

input: 資料的**,一般是通過伺服器+日誌路徑的方式

filter:以何種規則從字串中提取出結構化的資訊,grok是logstash裡的一款外掛程式,可以使用正規表示式匹配日誌,上文中的%是內建的正則,用來匹配apache access日誌

預設正則:

loglevel ([a-a]lert|alert|[t|t]race|trace|[d|d]ebug|debug|[n|n]otice|notice|[i|i]nfo|info|[w|w]arn?(?:ing)?|warn?(?:ing)?|[e|e]rr?(?:or)?|err?(?:or)?|[c|c]rit?(?:ical)?|crit?(?:ical)?|[f|f]atal|fatal|[s|s]evere|severe|emerg(?:ency)?|[ee]merg(?:ency)?)output:配置儲存解析結果

其中,重點講解filter中的配置,基本格式如下,plugin都是官方提供的,針對文字做處理,比如正規表示式啊(grok),按固定的格式做切分(kv)等等。選擇正確的plugin可以更快速的幫助你解析日誌

filter 

if expression

} else if expression

} else

}plugin

}

1、grok:正規表示式外掛程式,功能強大,有許多內建的pattern

2、mutate:欄位的crud操作,比如替換內容,擷取等等

mutate 

add_field=>"}

remove_field=>["error_request_info"]

}

3、kv:key-value外掛程式,非常適合url引數解析一類的具有固定分隔符的日誌

#比如解析url的querystring: a=1&b=2&c=3

filter

}

4、json:將json字串直接轉換成對應的key-value

#比如日誌為:*********:******&result=:******

filter

}

#通過json encode後

5、drop:直接丟掉本行日誌,過濾不符合要求的日誌

# 特定的處理

drop {} }

Kibana配置安裝

訪問 kibana kibana是一款開源的資料分析和視覺化平台,用於和elasticsearch協作。kibana可以用來對elasticsearch索引中的資料進行搜尋 檢視和互動操作。注意 kibana的版本需要和 elasticsearch 的版本一致。執行不同主版本號的 kibana 和 ...

Kibana安裝與配置

wget co downloads kibana kibana 5.6 3 linux x86 64.tar gztar zxf kibana 5.6 3 linux x86 64.tar gz將解壓出的目錄移動到 usr local 下 mv kibana 5.6.3 linux x86 64 u...

Kibana配置項說明

etc kibana kibana.yml kibana配置項 server.port 預設值 5601 kibana 由後端伺服器提供服務,該配置指定使用的埠號。server.host 預設值 localhost 指定後端伺服器的主機位址。server.basepath 如果啟用了 指定 kiba...