Nginx 日誌分析及效能排查

2021-09-26 19:47:08 字數 2549 閱讀 5017

來自

最近一直在做效能排查,思路就是根據分析nginx日誌,得到響應耗時的url、以及請求時間,再得到這段時間的請求量,併發量,分析是併發的原因,還是本身就比較慢,如果是應用本身的原因,只需要找到對應的**,然後進行優化就好了

我找到的幾個原因,基本就是後端sql執行的比較多,單次訪問看不出來,但是人比較多的時候就比較慢了,人少的時候20-200毫秒,人多的時候,200-6000毫秒,優化之後基本保持在幾十毫秒,優化策略就是減少不必要的sql,加上快取,基本解決了卡頓的問題,順便把這次用的一系列命令記錄下來,當個總結吧

如果需要得到請求處理的時間,需要在nginx log 裡面加上$request_time,下面是我的log_format

'"$http_user_agent" "$http_x_forwarded_for" "$request_time"';修改之後重啟nginx,檢視nginx log的時候,就能看到nginx處理請求所花的時間了,這個時間基本就是後端所花的時間,所以可以根據這個欄位來得到響應慢的請求

以下是就是我用到的一些命令了

獲取pv數

$ cat /usr/local/nginx/logs/access.log | wc -l

獲取ip數

$ cat /usr/local/nginx/logs/access.log | awk 『』 | sort -k1 -r | uniq | wc -l

獲取最耗時的請求時間、url、耗時,前10名, 可以修改後面的數字獲取更多,不加則獲取全部

$ cat /usr/local/class/logs/access.log | awk 『』 | awk -f 『"』 『』 | sort -k3 -rn | head -10

獲取某一時刻的請求數量,可以把秒去掉得到分鐘的資料,把分鐘去掉得到小時的資料,以此類推

$ cat /usr/local/class/logs/access.log | grep 2017:13:28:55 | wc -l

獲取每分鐘的請求數量,輸出成csv檔案,然後用excel開啟,可以生成柱狀圖

$ cat /usr/local/class/logs/access.log | awk 『』 | uniq -c | awk 『』 > access.csv

上面的圖是用excel生成的,也可以用命令列工具gnuplot生成png,我也試了一下,沒什麼問題,直接以程式設計的形式得到報表,去掉人工操作部分,很方便,但是有一點就是x軸資料比較多的時候,不能像excel一樣自動稀釋資料,所以我還是喜歡用excel來生成

其實用來用去也就是那麼幾個命令:

cat:輸入檔案內容

grep:過濾文字

『sort』:排序

『uniq』:去重

『awk』:文字處理

命令組合使用,單個命令可以使用多次,來達到多重過濾的效果,前面乙個命令的輸出就是後乙個命令的輸入,流式處理,只要學會這個命令,有多看似複雜的東西,都變得異常簡單。

上面介紹的都是命令,下面再介紹乙個直接輸出html的,其實就是利用go-access來分析nginx日誌

cat /usr/local/nginx/logs/access.log | docker run --rm -i diyan/goaccess --time-format=』%h:%m:%s』 --date-format=』%d/%b/%y』 --log-format=』%h %1

「%r」 %s %b 「%r」 「%u」』 > index.html

go-access是以docker容器的形式執行的,只要你安裝了docker,就能直接執行,免安裝很方便

以上指令碼,配合日誌每天的日誌分割,然後在crontab裡面配置一下自動執行指令碼,可生成每一天的nginx報表,**情況一幕了然,當然這裡也有缺點,因為不實時

想要統計實時資料,可以使用ngxtop 來檢視,安裝起來也很簡單

$ pip install ngxtop

執行的話,先進到nginx目錄,然後再執行,-c 指定配置檔案,-t 重新整理頻率,單位為秒

$ cd /usr/local/nginx

$ ngxtop -c conf/nginx.conf -t 1

但是這種實時的方式,還需要ssh遠端登入,不太方便,還可以使用lua來進行實時統計,然後寫乙個介面把資料展示出來,通過lua-nginx-module,nginx/tengine 都可以用,如果直接安裝openresty的話,就方便了,內嵌了lua,不需要重新編譯nginx了

以上~~~

利用grep 過濾日誌的條數

grep 「myname」 www.shop.com.log | wc -l

說明:查詢包含myname 的日誌條數

%d:%t %^ ↩︎

nginx 日誌分析及效能排查

修改之後重啟nginx,檢視nginx log的時候,就能看到nginx處理請求所花的時間了,這個時間基本就是後端所花的時間,所以可以根據這個欄位來得到響應慢的請求 其實用來用去也就是那麼幾個命令 cat 輸入檔案內容 grep 過濾文字 sort 排序 uniq 去重 awk 文字處理 命令組合使...

Nginx 日誌分析及效能排查

最近一直在做效能排查,思路就是根據分析nginx日誌,得到響應耗時的url 以及請求時間,再得到這段時間的請求量,併發量,分析是併發的原因,還是本身就比較慢,如果是應用本身的原因,只需要找到對應的 然後進行優化就好了 我找到的幾個原因,基本就是後端sql執行的比較多,單次訪問看不出來,但是人比較多的...

分析 Nginx 日誌

日誌格式 統計訪問 ip 次數 awk end access.log 統計訪問訪問大於 100 次的 ip awk end access.log 統計訪問 ip 次數並排序取前 10 awk end access.log 統計時間段訪問最多的 ip awk 4 02 jan 2017 00 02 0...