輕量級分布式日誌管理新秀graylog

2022-06-17 21:12:20 字數 690 閱讀 2748

在分布式系統中,眾多服務分散部署在數十台甚至是上百臺不同的伺服器上,要想快速方便的實現查詢、分析和歸檔等功能,使用linux命令等傳統的方式查詢到想要的日誌就費時費力,更不要說對日誌進行分析與歸納。

如果有乙個集中的日誌系統,便可以將各個不同的伺服器上面的日誌收集在一起,不僅能方便快速查詢到相應的日誌,還有可能在眾多日誌資料中挖掘到一些意想不到的關聯關係。

常見的分布式日誌系統解決方案有經典的elk和商業的splunk。為什麼沒有選擇上面的兩種方案呢,原因主要是如下兩種:

graylog是乙個簡單易用、功能較全面的日誌管理工具,graylog也採用elasticsearch作為儲存和索引以保障效能,mongodb用來儲存少量的自身配置資訊,master-node模式具有很好的擴充套件性,ui上自帶的基礎查詢與分析功能比較實用且高效,支援ldap、許可權控制並有豐富的日誌型別和標準(如syslog,gelf)並支援基於日誌的報警。

在日誌接收方面通常是網路傳輸,可以是tcp也可以是udp,在實際生產環境量級較大多數採用udp,也可以通過mq來消費日誌。

請參考我的另一篇文章:

參考文件:

輕量級分布式服務化框架

size x large align center b 輕量級分布式服務化框架 b align size list size medium github url doc url list size x large b 基本原理 b size img align left size medium 輕量...

輕量級分布式檔案系統fastDFS

fastdfs的結構比較簡單,主要由client tracker server和storage server三部分組成。client通過tracker server得到storage server的資訊,然後直接與storage server通訊訪問檔案,避免了tracker server成為瓶頸。...

XXL JOB 輕量級分布式任務排程平台

簡述 xxl job是乙個輕量級分布式任務排程平台,分布式任務排程中心。github doc 文件資料 db 排程資料庫 建表指令碼 xxl job admin 排程中心,專案原始碼 xxl job core 公共jar依賴 xxl job executor samples 執行器,sample示例...