了解Logstash輸入外掛程式

2021-09-05 04:52:59 字數 1015 閱讀 4011

輸入外掛程式是logstash從特定的資料來源讀取資料,logstash可用外掛程式包括,詳情可見這裡,下面說一些常見的輸入外掛程式:

stdin外掛程式:標準的輸入外掛程式,能夠從命令列中讀取事件。

可選配置:

add_field    hash(雜湊)   {}

codec         codec             「line」

tags            array(陣列)

type            string(字串)

file外掛程式:logstash 使用乙個名叫 filewatch 的 ruby gem 庫來監聽檔案變化。這個庫支援 glob 展開檔案路徑,而且會記錄乙個叫 .sincedb 的資料庫檔案來跟蹤被監聽的日誌檔案的當前讀取位置。所以,不要擔心 logstash 會漏過你的資料。

sincedb 檔案中記錄了每個被監聽的檔案的 inode, major number, minor number 和 pos。

示例:

input

file 

}

通常你要匯入原有資料進 elasticsearch 的話,你還需要 filter/date 外掛程式來修改預設的"@timestamp" 字段值。

filewatch 只支援檔案的絕對路徑,而且會不自動遞迴目錄。所以有需要的話,請用陣列方式都寫明具體哪些檔案。

logstash::inputs::file 只是在程序執行的註冊階段初始化乙個 filewatch 物件。所以它不能支援類似 fluentd 那樣的 path => "/path/to/%.log" 寫法。達到相同目的,你只能寫成 path => "/path/to/*/*/*/*.log"。

logstash 每隔多久去檢查一次被監聽的 path 下是否有新檔案。預設值是 15 秒。

logstash 每隔多久寫一次 sincedb 檔案,預設是 15 秒。

logstash 每隔多久檢查一次被監聽檔案狀態(是否有更新),預設是 1 秒。

generator:生成資料元件,用來生成測試資料最好用。

Logstash 參考指南(輸入外掛程式)

輸入外掛程式允許logstash讀取特定的事件源。下面是一些可用的輸入外掛程式,有關elastic支援外掛程式的列表,請參閱支援矩陣。外掛程式描述 github倉庫 azure event hubs 從azure事件中心接收事件 azure event hubs beats 從elastic bea...

Logstash常用外掛程式

logstash外掛程式 常用的流行外掛程式 input 外掛程式 filters 外掛程式 output 外掛程式 input 外掛程式 流行的logstash輸入外掛程式 file 檔案流 檔案輸入外掛程式從輸入的內容中流事件,每個事件都被假定為單行。它會自動檢測到旋轉的旋轉並處理它。它保留了讀...

Logstash 外掛程式安裝

官方的安裝指令是 1 bin plugininstalllogstash output webhdfs 但是往往安裝不成功,一般就是如下情況,然後卡著不動了 validating logstash output webhdfs 原因是防火牆擋掉了logstash的預設gem source 1 2 c...