ELK日誌分析系統 3 logstash資料處理

1. 概述

logspout收集資料以後，就會把資料傳送給logstash進行處理，本文主要講解logstash的input, filter, output處理

2. input

資料的輸入處理

支援tcp，udp等協議

2.1. 語法

基本語法如下：

input

}

預設情況下logstash會把一行日誌轉換成elasticsearch的乙個doc，上面這個日誌就會儲存成15條日誌。這樣就不能滿足我們的需求，我們只是想要一條日誌

我們可以這麼配置input:

input"

negate =>
true
what => "previous"
} }
}

3. filter

資料的過濾轉化處理

3.1. 語法

基本語法如下：

filter %" }

overwrite => [ "message" ]}}

3.2. grok正規化匹配

grok適合用來解析syslog，apache，mysql等日誌

假如你的日誌格式是這樣的

[2019-10-12 15:44:52 account 1 140058162291304 warning] hashcache::_rds_get, cache not existed!!! id_ls：

"

[%(asctime)s %(service)s %(process)d %(thread)d %(levelname)s] %(message)s
"

可以這麼配置你的filter:

filter % % % %\] %" }}}

}

從elasticsearch可以發現增加了timestamp、server、pid、tid和log-level等字段。

附上官網文件：

# grok偵錯程式

# 官方文件

3.3. gsub字串替換

經過logspout處理以後，會增加一些metadata(container name, container id, etc)

紅色部分是logspout新增的：

如何去除這部分多餘的資料呢？

filter}}

假如你不想要grop解析出來的msg_body欄位和test欄位，可以這麼操作，那麼最後儲存到elasticsearch那邊將不會出現這2欄位

filter}}

動態的解析kv可以很方便的支援日誌擴充套件，不需要後期去修改

filter}}

當然這也要求日誌寫入的時候需要採用"\t\t"來區分多個字段，類似這樣：

http_ip=127.0.0.1、http_uri=/account/v1/binding與http_method=post這三個欄位是採用'\t\t'分割的

這樣kv filter就會解析成功，並往doc裡面設定http_ip, http_uri,http_method這三個值：

過濾轉化後的資料的輸出處理

這裡是把資料儲存到elasticsearch的9200埠，index是"syslog-%"

output"

}stdout}}

ELK 日誌分析系統

elk就是一套完整的日誌分析系統 elk logstash elasticsearch kibana 統一官網 elk模組說明 logstash 作用 用於處理傳入的日誌，負責收集 過濾和寫出日誌 logstash分為三個元件input，filter，output 輸入input 常用file，re...

ELK日誌分析系統簡介

當我們部署集群伺服器的時候，日誌檔案就會散落在多台伺服器上。檢視日誌資訊就需要到各個伺服器上去取和檢視，我們把這些日誌檔案歸集到乙個地方統一管理。這個時候elk系統出現了，elk是elasticsearch logstashh和kibana三個系統的首字母組合。當然elk不只是檢視日誌功能這麼簡單，...

部署elk日誌分析系統

日誌分析是運維工程師解決系統故障，發現問題的主要手段。日誌主要包括系統日誌 應用程 序日誌和安全日誌。系統運維和開發人員可以通過日誌了解伺服器軟硬體資訊 檢查配置過程中的 錯誤及錯誤發生的原因。經常分析日誌可以了解伺服器的負荷，效能安全性，從而及時採取措施糾 正錯誤。通常，日誌被分散的儲存在不同的裝...