elk日誌分析系統（二）

上篇部落格介紹關於elk的原理和搭建：elk日誌分析系統（一）

但這種架構只適合資料量不大且可靠性不強的業務使用，當大併發情況下，由於日誌傳輸峰值比較大，沒有訊息佇列來做緩衝，就會導致 elasticsearch 集群丟失數，所以需要對架構做進一步的擴充套件，引入kafka集群。

filebeat收集日誌資料投遞到 kafka 集群中，這樣當遇到 logstash 接收資料的能力超過 elasticsearch 集群處理能力的時候，就可以通過佇列就能起到削峰填谷的作用， elasticsearch 集群就不存在丟失資料的問題。

版本說明：

kafka：kafka_2.12-1.1.0

zookeeper：zookeeper-3.4.12

elk元件版本為6.0.0

kafka集群環境的搭建可以參考：

zookeeper學習與部署

kafka學習和部署

1.配置filebeat輸出到kafka集群

修改filebeat配置檔案，配置輸出到kafka

output.kafka: enabled: true hosts: ["192.168.10.1:9092", "192.168.10.2:9092", "192.168.10.3:9092"]

topic: 'test-log'

重啟filebeat服務，並嘗試向/tmp/test.log檔案中追加一些測試資料，在kafka集群任意節點檢視主題，並消費這些資料

2.logstsh從kafka讀取資料

修改logstsh配置檔案

input 
}

重啟logstash

配置完成，可以訪問kibana測試一下。