Nginx 日誌分析及效能排查

最近一直在做效能排查，思路就是根據分析nginx日誌，得到響應耗時的url、以及請求時間，再得到這段時間的請求量，併發量，分析是併發的原因，還是本身就比較慢，如果是應用本身的原因，只需要找到對應的**，然後進行優化就好了

我找到的幾個原因，基本就是後端sql執行的比較多，單次訪問看不出來，但是人比較多的時候就比較慢了，人少的時候20-200毫秒，人多的時候，200-6000毫秒，優化之後基本保持在幾十毫秒，優化策略就是減少不必要的sql，加上快取，基本解決了卡頓的問題，順便把這次用的一系列命令記錄下來，當個總結吧

如果需要得到請求處理的時間，需要在nginx log 裡面加上$request_time，下面是我的log_format

';修改之後重啟nginx，檢視nginx log的時候，就能看到nginx處理請求所花的時間了，這個時間基本就是後端所花的時間，所以可以根據這個欄位來得到響應慢的請求

以下是就是我用到的一些命令了

獲取pv數

$ cat /usr/local/nginx/logs/access.log | wc -l

獲取ip數

$ cat /usr/local/nginx/logs/access.log | awk '
' | sort -k1 -r | uniq | wc -l

獲取最耗時的請求時間、url、耗時，前10名, 可以修改後面的數字獲取更多，不加則獲取全部

$ cat /usr/local/class/logs/access.log | awk '
' | awk -f '"'
'' | sort -k3 -rn | head -10

獲取某一時刻的請求數量，可以把秒去掉得到分鐘的資料，把分鐘去掉得到小時的資料，以此類推

$ cat /usr/local/class/logs/access.log | grep 2017:13:28:55 | wc -l

獲取每分鐘的請求數量，輸出成csv檔案，然後用excel開啟，可以生成柱狀圖

上面的圖是用excel生成的，也可以用命令列工具gnuplot生成png，我也試了一下，沒什麼問題，直接以程式設計的形式得到報表，去掉人工操作部分，很方便，但是有一點就是x軸資料比較多的時候，不能像excel一樣自動稀釋資料，所以我還是喜歡用excel來生成

其實用來用去也就是那麼幾個命令:

cat：輸入檔案內容

grep：過濾文字

'sort'：排序

'uniq'：去重

'awk'：文字處理

命令組合使用，單個命令可以使用多次，來達到多重過濾的效果，前面乙個命令的輸出就是後乙個命令的輸入，流式處理，只要學會這個命令，有多看似複雜的東西，都變得異常簡單。

上面介紹的都是命令，下面再介紹乙個直接輸出html的，其實就是利用go-access來分析nginx日誌

go-access是以docker容器的形式執行的，只要你安裝了docker，就能直接執行，免安裝很方便

以上指令碼，配合日誌每天的日誌分割，然後在crontab裡面配置一下自動執行指令碼，可生成每一天的nginx報表，**情況一幕了然，當然這裡也有缺點，因為不實時

想要統計實時資料，可以使用ngxtop 來檢視，安裝起來也很簡單

$ pip install ngxtop

執行的話，先進到nginx目錄，然後再執行，-c 指定配置檔案，-t 重新整理頻率，單位為秒

$ cd /usr/local/nginx

$ ngxtop -c conf/nginx.conf -t 1

但是這種實時的方式，還需要ssh遠端登入，不太方便，還可以使用lua來進行實時統計，然後寫乙個介面把資料展示出來，通過lua-nginx-module，nginx/tengine 都可以用，如果直接安裝openresty的話，就方便了，內嵌了lua，不需要重新編譯nginx了

以上～～～