2018 04 02 日誌服務業內解決方案

2021-08-20 03:22:57 字數 804 閱讀 9341

不管什麼樣的應用,都會產生日誌,而如何使用這些日誌就成了每個公司都必須面對的問題。

本文帶著上面的問題,總結了一些業界已有的解決方案,期望能夠釐定和日誌相關的功能的邊界,而不至於思維特別發散導致無從下手。

日誌服務正在內測

日誌服務:包括logtail(實時採集)、消費組管理、查詢、告警、dashboard、maxcompute、oss

阿里雲elasticsearch:這個就是安裝了es的伺服器,不是乙個完整的解決方案。

業界非常厲害的一家公司,很貴!

號稱開源版的splunk,值得研究。

git: graylog2/graylog2-server

git: ysrc/yulong-hids

git: ossec/ossec-hids主要由sebthebert開發維護。

fluentd

heka

logstash

beat(包括filebeat、metricbeat、auditbeat、heartbeat等)

kibana

flume

kafka

searchguard(基於elk的定製版,很多功能也收費)

elastalert

檢視了上面的這些業界產品,可以發現日誌服務相關的一些基本功能:

1. 許可權管理,ldap整合(還包括資料隔離)

2. 日誌採集

3. 日誌清洗

3. 日誌解析

4. 日誌儲存、索引、搜尋

5. 日誌展示,資料視覺化

6. 報警規則配置

7. 報表匯出

Nginx服務優化(四)日誌分割

隨著nginx執行時間增加,日誌也會增加。為了方便掌握nginx執行狀態,需要時刻關注nginx日誌檔案,太大的日誌檔案對監控是乙個大災難,所以需要定期進行日誌檔案的切割。nginx自身不具備日誌分割處理的功能,但可以通過nginx訊號控制功能的指令碼實現日誌的自動切割,並通過linux的計畫任務周...

Centos7日誌伺服器

1 日誌的功能 1 用於記錄系統 程式執行中發生的各種事件 2 通過閱讀日誌,有助於診斷和解決系統故障 2 日誌檔案的分類 1 核心及系統日誌 2 使用者日誌 3 程式日誌 3 日誌的預設儲存位置 var log 4 管理日誌的服務 rsyslogd root localhost vim etc r...

Centos7日誌伺服器配置

客戶端需修改檔案位於 etc rsyslog.conf 只需要把尾部 remote host 514刪除 並把 替換為 remote host 替換為日誌伺服器主機 ip即可 注 日誌預設使用 udp協議,使用 則使用 tcp協議。伺服器端修改修改 etc rsyslog.conf 檔案以及 etc...