logstash - 輸出外掛程式之redis與es
第二章 logstash - 輸出外掛程式之redis與es
最常用的兩個輸出外掛程式：
redis
es一、redis
1、用法
複製**
1 output
20 }
複製**
2、配置項
以上所有配置項都是可選的，沒有必須的。（以下4個紅色配置是最重要的4個配置）
批處理類（僅用於data_type為list）
batch：設為true，通過傳送一條rpush命令，儲存一批的資料
預設為false：1條rpush命令，儲存1條資料
設為true之後，1條rpush會傳送batch_events條資料或傳送batch_timeout秒（取決於哪乙個先到達）
batch_events：一次rpush多少條
預設50條
batch_timeout：一次rpush最多消耗多少s
預設5s
編碼類codec：對輸出資料進行codec，避免使用logstash的separate filter
擁塞保護（僅用於data_type為list）
congestion_interval：每多長時間進行一次擁塞檢查
預設1s
設為0，表示對每rpush乙個，都進行檢測
congestion_threshold：list中最多可以存在多少個item資料
預設是0：表示禁用擁塞檢測
當list中的資料量達到congestion_threshold，會阻塞直到有其他消費者消費list中的資料
作用：防止oom
data_type
list：使用rpush
channel：使用publish
db：使用redis的資料庫，預設使用0號
host：陣列
eg.["127.0.0.1:6380", "127.0.0.1"]
可以指定port，會覆蓋全域性port
port：全域性port，預設6379
key：list或channel的名字
支援動態key，例如：logstash-%
password：redis密碼，預設不使用密碼
reconnect_interval：失敗重連的間隔，預設為1s
timeout：連線超時，預設5s
二、es
1、使用方式
複製**
1 output
13 keystore => /***
14 keystore_password => ***
15 manage_template => true
16 max_retries => 3
17 parent => nil
18 password => ***
19 path => /
20 proxy => ***
21 retry_max_interval => 2
22 routing => ***
23 script => ***
24 script_lang => ***
25 script_type => inline
26 script_var_name => event
27 scripted_upsert => false
28 sniffing => false
29 sniffing_delay => 5
30 ssl => false
31 ssl_certificate_verification => true
32 template => /***
33 template_name => logstash
34 template_overwrite => false
35 timeout => 5
36 truststore => /***
37 truststore_password => ***
38 upsert => ***
39 user => ***
40 workers => 1
41 }
42 }
複製**
2、基本配置
以上配置全部都是可選的，沒有必須的。以下列出最重要的幾個。
hosts：["127.0.0.1:9200","127.0.0.2:9200"]
action：指定es的行為，index, delete, create, update
預設為index：index a document（該document就是乙個來自於logstash的event）
delete：通過id刪除乙個document（需要指定document_id）
create：index a document（如果該document已經在index中存在，則失敗）
update：通過id更新乙個document
cacert：驗證server合法性的.cer或.pem檔案路徑
codec：
document_id
document_type
index：預設值：logstash-%
便於刪除老資料
在語法解析的時候，看到+號開頭的，會自動認為後面是時間格式，嘗試用時間格式來解析後續字串。所以，之前處理過程中不要給自定義的字段起乙個+號開頭的名字
索引名中不能有大寫字母
有時也會自定義為：logstash-%-%
user：進入es cluster的使用者
password：進入es cluster的密碼
timeout：set the timeout for network operations and requests sent elasticsearch. if a timeout occurs, the request will be retried.
flush_size：預設500，logstash攢夠500條資料再一次性向es傳送
idle_flush_time：預設1s，如果1s內沒攢夠500條還是會一次性將攢的資料發出去給es
Logstash常用外掛程式
logstash外掛程式 常用的流行外掛程式 input 外掛程式 filters 外掛程式 output 外掛程式 input 外掛程式 流行的logstash輸入外掛程式 file 檔案流 檔案輸入外掛程式從輸入的內容中流事件，每個事件都被假定為單行。它會自動檢測到旋轉的旋轉並處理它。它保留了讀...
Logstash 外掛程式安裝
官方的安裝指令是 1 bin plugininstalllogstash output webhdfs 但是往往安裝不成功，一般就是如下情況，然後卡著不動了 validating logstash output webhdfs 原因是防火牆擋掉了logstash的預設gem source 1 2 c...
logstash安裝外掛程式
logstash預設沒有安裝logstash output syslog元件，如需實現syslog輸出，需要安裝此外掛程式後才能進行，操作方法如下 1，檢視當前元件安裝情況 opt logstash bin logstash plugin list 如果能訪問公網，可使用此方法，命令格式如下 opt...