Logstash常用外掛程式

2021-08-15 22:52:48 字數 1565 閱讀 7025

logstash外掛程式

常用的流行外掛程式:

input 外掛程式

filters 外掛程式 

output 外掛程式

input 外掛程式

流行的logstash輸入外掛程式

file:檔案流

檔案輸入外掛程式從輸入的內容中流事件,每個事件都被假定為單行。它會自動檢測到旋轉的旋轉並處理它。它保留了讀取的位置,如果正確的話,將自動檢測新資料。它以類似的方式閱讀:

tail -0f

格式:

input 

}

tags:

標籤表示任意數量的字串作為乙個陣列,這些字串可以稍後用於根據分配給它們的標籤過濾和處理事件。

type:

型別欄位可用於標記特定型別的事件,這有助於稍後過濾和搜尋它們。型別被新增到儲存在elasticsearch的文件中,以後可以在kibana中檢視型別字段。例如,我們可以將型別指定為「error_logs」或「info_logs」。

redis:redis例項流

stdin:標準事件流

syslog:網路syslog訊息流

ganglia:網路通過udp傳送的ganglia資料報

lumberjack:通過lumberjack協議接收事件

eventlog:windows事件日誌

s3:s3 bucket檔案事件流

elasticsearch:elasticsearch集群查詢的結果集

過濾外掛程式

流行的logstash過濾外掛程式

csv:解析csv檔案

格式:

filter 

}

例如:

filter 

}

date:它用於解析來自傳入事件的日期字段,並將其用作logstash時間戳字段,可以稍後用於分析

格式:

filter 

}

drop:刪除傳入事件中滿足匹配篩選條件的所有內容

grok:將日誌中非結構化資料或事件解析成結構化

multiline:解析來自單一源的多行資料,作為乙個logstash事件

dns:從指定的任何欄位中解析乙個ip位址

mutate:在事件中重新命名、刪除、修改和替換字段

格式:

filter 

}

geoip:檢索到的ip位址新增地理資訊

輸出外掛程式

流行的logstash輸出外掛程式

file:輸出到檔案

e-mail:收到輸出時,它會根據某些條件傳送電子郵件

elasticsearch:輸出到elasticsearch集群,這是logstash最常見和最推薦的輸出

格式:

output 

}

stdout:標準輸出流

redis:事件寫入redis佇列,並用作許多elk實現的**

mongodb:輸出到mongodb

kafka:輸出到kafka topic

logstash常用外掛程式介紹

在 使用efk快速搭建安全可靠的日誌服務 一文中,我們已經大致介紹了分布式日誌服務的各個元件。但是對於很多實現細節,並未涵蓋到。本文主要介紹logstash用到的外掛程式,以及對外掛程式的離線打包,避免每次手動安裝外掛程式。本文主要分為4部分 外掛程式的離線打包 input外掛程式 filter外掛...

logstash常用外掛程式介紹

在 使用efk快速搭建安全可靠的日誌服務 一文中,我們已經大致介紹了分布式日誌服務的各個元件。但是對於很多實現細節,並未涵蓋到。本文主要介紹logstash用到的外掛程式,以及對外掛程式的離線打包,避免每次手動安裝外掛程式。本文主要分為4部分 外掛程式的離線打包 input外掛程式 filter外掛...

logstash常用外掛程式介紹

在 使用efk快速搭建安全可靠的日誌服務 一文中,我們已經大致介紹了分布式日誌服務的各個元件。但是對於很多實現細節,並未涵蓋到。本文主要介紹logstash用到的外掛程式,以及對外掛程式的離線打包,避免每次手動安裝外掛程式。本文主要分為4部分 外掛程式的離線打包 input外掛程式 filter外掛...