最近公司做日誌檢索和計數日誌不同維度統計，選用了elk，我們的日誌已經上傳到kafka中，logstash需要從kafka讀取資料，下面是logstash的簡化配置：
input
}output "
}}
想要使用多個 logstash 端協同消費同乙個 topic 的話，那麼需要把兩個或是多個 logstash 消費端配置成相同的 group_id 和 topic_id ， 但是前提是要把 相應的 topic 分多個 partitions (區) ，多個消費者消費是無法保證訊息的消費順序性的。這裡解釋下，為什麼要分多個 partitions(區) ， kafka 的訊息模型是對 topic 分割槽以達到分布式效果。每個 topic 下的不同的 partitions (區) 只能有乙個 owner 去消費。所以只有多個分割槽後才能啟動多個消費者，對應不同的區去消費。其中協調消費部分是由 server 端協調而成。不必使用者考慮太多。只是 訊息的消費則是無序的 。
總結:保證訊息的順序，那就用乙個 partition 。 kafka 的每個 partition 只能同時被同乙個 group 中的乙個 consumer 消費 。
Logstash5 6 1 Kafka外掛程式配置
output document type workers 1flush size 10idle flush time 10template overwrite true kafka topic id mytopic bootstrap servers kfka1 9092,kafka2 9092 b...
Logstash 讀取tomcat錯誤日誌
spring cloud 實戰 乾貨 mybatis 實戰 乾貨 spring boot 實戰 乾貨 react 入門實戰 乾貨 構建中小型網際網路企業架構 乾貨 python 學習持續更新 elasticsearch 筆記 codecs 解碼 filters 過濾 outputs 輸出 logst...
kafka消費讀取不了
問題一 啟動storm時，發現kafka一直讀取不了資料，但是查詢時，仍有資料沒有讀取 一直讀取不了，看了下 是kafka消費時，一直讀取不了資料 查詢，很符合kafka重複讀取引起的問題。確實storm讀取時是自動提交的，並且修改group，可以正常執行。因為是在開發環境，所以只是想測試下stor...