elk redis 搭建nginx日誌分析平台

2021-09-22 23:26:05 字數 1684 閱讀 3022

logstash,elasticsearch,kibana 怎麼進行nginx的日誌分析呢?首先,架構方面,nginx是有日誌檔案的,它的每個請求的狀態等都有日誌檔案進行記錄。其次,需要有個佇列,redis的list結構正好可以作為佇列使用。然後分析使用elasticsearch就可以進行分析和查詢了。

我們需要的是乙個分布式的,日誌收集和分析系統。logstash有agent和indexer兩個角色。對於agent角色,放在單獨的web機器上面,然後這個agent不斷地讀取nginx的日誌檔案,每當它讀到新的日誌資訊以後,就將日誌傳送到網路上的一台redis佇列上。對於佇列上的這些未處理的日誌,有不同的幾台logstash indexer進行接收和分析。分析之後儲存到elasticsearch進行搜尋分析。再由統一的kibana進行日誌web介面的展示。

下面我計畫在一台機器上實現這些角色。

在nginx.conf 中設定日誌格式:logstash

$upstream_response_time';在vhost/test.conf中設定access日誌:

access_log  /usr/share/nginx/logs/test.access.log  logstash;
注:這裡也可以不用logstash,直接使用rsyslog

建立logstash agent 配置檔案

vim /usr/local/logstash/etc/logstash_agent.conf
**如下:

input 

}output

}

啟動logstash agent

/usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/logstash_agent.conf
這個時候,它就會把test.access.log中的資料傳送到redis中,相當於tail -f。

建立 logstash indexer 配置檔案

vim /usr/local/logstash/etc/logstash_indexer.conf
**如下:

}}這份配置是將nginx_access結構化以後塞入elasticsearch中。

對這個配置進行下說明:

好了,現在的結構就完成了,你可以訪問一次test.dev之後就在kibana的控制台看到這個訪問的日誌了。而且還是結構化好的了,非常方便查詢。

elk redis 搭建nginx日誌分析平台

logstash,elasticsearch,kibana 怎麼進行nginx的日誌分析呢?首先,架構方面,nginx是有日誌檔案的,它的每個請求的狀態等都有日誌檔案進行記錄。其次,需要有個佇列,redis的list結構正好可以作為佇列使用。然後分析使用elasticsearch就可以進行分析和查詢...

elk redis 搭建nginx日誌分析平台

logstash,elasticsearch,kibana 怎麼進行nginx的日誌分析呢?首先,架構方面,nginx是有日誌檔案的,它的每個請求的狀態等都有日誌檔案進行記錄。其次,需要有個佇列,redis的list結構正好可以作為佇列使用。然後分析使用elasticsearch就可以進行分析和查詢...

使用elk redis搭建nginx日誌分析平台

elk redis 搭建nginx日誌分析平台 logstash,elasticsearch,kibana 怎麼進行nginx的日誌分析呢?首先,架構方面,nginx是有日誌檔案的,它的每個請求的狀態等都有日誌檔案進行記錄。其次,需要有個佇列,redis的list結構正好可以作為佇列使用。然後分析使...