基於flume kafka的日誌收集架構

2021-09-12 23:45:55 字數 470 閱讀 2115

資源:4core/8g*2臺,最終結果:1500併發/s時,tps約9000,cpu占用60%作用,mem占用6g左右

本次日誌收集採用apache高可用的,高可靠的,分布式的海量日誌採集、聚合和傳輸的系統flume,版本1.9,官方文件:

該中介軟體構件單元為agent,資料傳輸單位為event,如下圖所示:

它支援各種豐富的source、channel、sink元件,還可以使用者自定義開發,文件友好,

特別適用於流式資料比如日誌資料的處理

。其中,source 負責資料的產生或蒐集,從資料發生器接收資料,並將接收的資料以flume的event格式傳遞給乙個或者多個通道channel。channel 是一種短暫的儲存容器,負責資料的儲存持久化,可以持久化到

日誌採集 基於Flink的日誌採集

目前基於elk架構的日誌系統,通過filebeat收集上來的日誌都會傳送到同乙個kafka topic中,然後再由logstash消費處理寫入elasticsearch中,這種方式導致該topic包含所有業務日誌,那麼各個業務去做實時統計分析就會造成重複消費,使得流量成本的浪費 對於離線分析的日誌 ...

基於註解的日誌實現

隨著公司業務邏輯逐漸複雜,越來越多的專案採用了前後端分離進行開發,提高了開發效率,但是無形中增加了溝通和除錯成本。故開發人員在 中採用了列印前端或者終端傳遞過來引數資訊,這樣當出現問題時能夠排查和說明問題出在何處。aop log就是出於這樣一種使用場景而出現。總共兩種註解形式,一種是 註解加在con...

基於AOP的日誌除錯

斷點是我們日常開發最為常見和高效的除錯手段,相比較輸入日誌它給予更多的狀態資訊和靈活的觀察角度,但斷點除錯是有前提和侷限的.需要乙個介面友好,功能強大的ide,比較適合於在單機的開發環境中進行.企業應用開發中,我們常常會遇到無法斷點除錯的窘境,例如 這個異常僅在生產環境出現,開發環境裡無法重現 存在...