004 Nginx日誌挖掘accessLog

2021-10-12 19:57:30 字數 1261 閱讀 1636

$remote_addr  192.168.56.1  對應客戶端ip位址

$remote_user - 對應遠端使用者,沒有遠端使用者,所以用-充填

[$time_local

][23/dec/2020:23:13:04 +0800] 訪問時間

"$request"

$status 403 訪問的狀態碼

$body_bytes_sent 555 響應的body大小

$http_referer 站點** # 可以用於防盜煉

$http_user_agent 客戶端資訊

$http_x_forwarded_for 使用者真實ip(**時候),-/空

樣例檔案 ->access_temp.log

# 檢視訪問最頻繁的前10個ip

# 列印第乙個 | 排序 | 去重統計 | 倒敘排序 | 取前10條

awk'' access_temp.log |

sort -n |

uniq -c |

sort -rn |

head -n 10

# 統計訪問最多的url 前10

# 這裡面有token,正常需要把?後面切走,這裡先不管

cat access_temp.log |

awk''

|sort

|uniq -c |

sort -rn |

head -n 10

#  日誌 新增變數

$request_time 使用者請求響應總耗時

$upstream_response_time 從nginx到服務請求響應時間(排除掉nginx和使用者的時間)

cat ***.log | awk '($nf >2)' | sort -n | uniq -c | sort -nr | head -5

$nf 表示最後一列

(004)Nginx預設配置語法解析及演示

1 基礎配置 nginx的主配置檔案 etc nginx nginx.conf,當讀到下面include一行會載入 etc nginx conf.d下,以 conf結尾的檔案。user 設定nginx服務的系統使用使用者 worker processes 工作程序數,最好設定為與cpu個數一致 er...

HCIE資料探勘筆記 004資料探勘(入門)

資料探勘流程 1 spss的crisp dm模型 商業理解 資料理解 資料準備 建立模型 模型評估 模型實施 商業理解 不要把自己寫的太死 確定業務目標 評估指標 準確率等 專案可行性分析 已有資源 條件 目前風險等 確定挖掘目標 與上一條繫結 提出專案計畫 計畫 工具都要包含在內 例子 電信流失使...

如何挖掘Nginx日誌中隱藏的金礦?

編輯 小智 對很多開發運維人員來說,nginx 日誌檔案在被刪除前可能都不會看上一眼。但實際上,nginx 隱藏了相當豐富的資訊,或許其中便蘊含著未知的金礦等你挖掘!寫在前面 nginx 讀作 engine x 是現在最流行的負載均衡和反向 伺服器之一。如果你是一名中小微型 的開發運維人員,很可能像...