日誌分析告警平台 ELK ZABBIX的組合實踐

2021-08-20 07:45:59 字數 1216 閱讀 4952

最近在給公司用elk搭建日誌分析平台,搭建成功之後,發現elk 缺少乙個重要功能模組,即告警功能。於是乎有尋覓到了與elk 無縫整合的外掛程式x-pack ,但是,但是,但是它是收費的。為了將開源到底,於是乎我們想了很多辦法:

1. 尋找x-pack 替代外掛程式,例如kaae或者sentinl,發現這兩款外掛程式弊端就是告警策略太少並且缺少有效的告警配置方式

2. 基於elasticsearch 強大的api 以及elasticsearch-jdbc 提供的sql查詢,自己開發一套告警策略,呼叫基於業務的api進行告警。但是自己開發告警策略談何簡單,需要考慮各種場景,且時間有限,需要投入較多人力。

3. 找到了大眾點評之前開源的一款產品cat,這款產品網上介紹較多,這裡不做詳細介紹。基於elk日誌採集處的埋點,進行告警。(我們這裡日誌採集的方式不是通過 官方提供的外掛程式file-beat,因為這款外掛程式是基於jdk1.8 的,因此我們這裡採用jsch連線讀寫日誌流傳輸,在寫檔案處埋點。)考慮到cat 較完備的告警策略,以及較簡單的配置,因此我們嘗試去熟悉cat 裡的原始碼,後來還是因為時間問題(熟悉原始碼、改造、頁面改動量較大),因此放棄。

最後,運維小夥伴提供了乙個思路,zabbix具有強大的告警策略,同時具有針對業務api 自定義配置告警觸發器配置功能。結合已經部署的zabbix告警系統(硬體監控以及自帶的zabbix api),因此採用該elk+zabbix 告警策略。

該平台可以實現日誌實時和離線分析、業務和硬體指標告警以及伺服器效能指標檢視等功能。架構如下圖所示:

如上圖所示,通過排程讀寫日誌流可以做到採集與清洗,進而被logstash傳輸寫入elasticsearch,基於elasticsearch 提供的api 我們封裝自定義業務介面(監控探測介面、業務指標分析介面);zabbix一方面通過zabbix agent 提供硬體指標檢測功能,

另一方面通過配置自定義觸發器去探測業務監控介面。同時,基於zabbix 提供的zabbix api 我們也可以封裝zabbix 用以監控硬體指標結果。

這裡多說一句,kibana 自定義的圖形化展現配置方式功能的設計方案很讚,你可以在上面自定義資料來源、自定義圖形化展現方式,自定義維度與度量、自定義圖形化屬性,自定義配置儀錶盤等等。這對於做olap 的同學大有益處。

上文提到,因為應用伺服器jdk 版本不同,因此採用jsch 建立連線,讀寫日誌流。

綜合日誌分析系統 綜合告警系統

日誌審計輸出 日誌審計系統通過三個途徑向審計人員提供審計能力 實時告警 分析報告 事件查詢 實時告警 日誌審計系統實時監控網路及安全裝置 系統平台的安全訪問和各種效能狀態,並進行實時分析記錄,出現不符合預定規則就應該通過裝置遠端主控台 簡訊 郵件 語音提示 qq msn等方式向審計人員傳送實時告警訊...

ELK日誌監控平台告警公升級 郵件 釘釘

前言近期,郵件告警通知無法送達,導致部分錯誤資訊開發人員沒有及時收到,觸發了手動 通知機制 客戶,你懂得 這個鍋我背,之前好好的,突然前段時間就不好使了 指令碼什麼的並沒有動過 快週末了,重新調整了一下告警通知,順便加入釘釘機械人監控報警。服務配置 相關軟體 elk elasticsearch lo...

Oracle告警日誌檔案

oracle告警日誌檔案 alert log,是乙個特殊的trace檔案,它是按照時間排序的一些log或error資訊,具體內容包括 1.所有internal error ora 600 block corruption errors ora 1578 以及死鎖錯誤 ora 60 2.管理性操作,比...