日常分析日誌必備
1、檢視當天有多少個ip訪問：
awk '' log_file|sort|uniq|wc -l
2、檢視某乙個頁面被訪問的次數：
grep "/index.php" log_file | wc -l
3、檢視每乙個ip訪問了多少個頁面：
awk ' end ' log_file
4、將每個ip訪問的頁面數進行從小到大排序：
awk ' end ' log_file | sort -n
5、檢視某乙個ip訪問了哪些頁面：
grep ^111.111.111.111 log_file| awk ''
6、去掉搜尋引擎統計當天的頁面：
awk '' log_file | grep ^\"mozilla | awk '' |sort | uniq | wc -l
7、檢視2023年6月21日14時這乙個小時內有多少ip訪問:
awk '' log_file | grep 21/jun/2009:14 | awk ''| sort | uniq | wc -l
8.檢視訪問前十個ip位址
awk '' |sort|uniq -c|sort -nr |head -10 access_log
9.訪問次數最多的檔案或頁面
cat access_log|awk ''|sort|uniq -c|sort -nr
10.通過子網域名稱訪問次數，依據referer來計算，稍有不准
11. 列出傳輸大小最大的幾個檔案
cat www.access.log |awk '($7~/\.php/)'|sort -nr|head -100
12. 列出輸出大於200000byte(約200kb)的頁面以及對應頁面發生次數
cat www.access.log |awk '($10 > 200000 && $7~/\.php/)'|sort -n|uniq -c|sort -nr|head -100
13. 如果日誌最後一列記錄的是頁面檔案傳輸時間，則有列出到客戶端最耗時的頁面
cat www.access.log |awk '($7~/\.php/)'|sort -nr|head -100
14. 列出最最耗時的頁面(超過60秒的)的以及對應頁面發生次數
cat www.access.log |awk '($nf > 60 && $7~/\.php/)'|sort -n|uniq -c|sort -nr|head -100
15. 列出傳輸時間超過 30 秒的檔案
cat www.access.log |awk '($nf > 30)'|sort -n|uniq -c|sort -nr|head -20
16. 列出當前伺服器每一程序執行的數量，倒序排
ps -ef | awk -f ' ' '' |sort | uniq -c |sort -nr |head -20
分析 特定url 哪些ip 訪問次數分別是多少
cat /log/access.log | grep downfile | awk 『』 | sort | uniq -c | sort -n
分析apache日誌得到蜘蛛ip的簡單方法
cat access_log | grep spider | awk -f 」 」 『』 | sort | uniq > ~/spider_ip.txt
1,檢視apache程序:
2,檢視80埠的tcp連線:
netstat -tan | grep "established" | grep ":80" | wc -l
3,通過日誌檢視當天ip連線數，過濾重複:
cat access_log | grep "20/oct/2008" | awk '' | sort | uniq -c | sort -nr
4,當天ip連線數最高的ip都在幹些什麼(原來是蜘蛛):
cat access_log | grep "20/oct/2008:00" | grep "122.102.7.212" | awk '' | sort | uniq -c | sort -nr | head -n 10
5,當天訪問頁面排前10的url:
cat access_log | grep "20/oct/2008:00" | awk '' | sort | uniq -c | sort -nr | head -n 10
6,用tcpdump嗅探80埠的訪問看看誰最高
tcpdump -i eth0 -tnn dst port 80 -c 1000 | awk -f"." '' | sort | uniq -c | sort -nr
接著從日誌裡檢視該ip在幹嘛:
cat access_log | grep 122.102.7.212| awk '' | sort | uniq -c | sort -nr | less
7,檢視某一時間段的ip連線數:
grep "2006:0[7-8]" www20060723.log | awk '' | sort | uniq -c| sort -nr | wc -l
apache log 設定日誌例項
oglevel warn 錯誤日誌error log級別為禁告此級別為預設 logformat h l u t r s b i i v combined 組合日誌格式 combined log format h主機名，l遠端註冊名 u 遠端使用者 t 時間 英文格式 r 請求的第一行 s 狀態,b傳...
logstash實戰之apacheLogs和csv
時間處理 timestamp 2018 06 29t03 18 12.532z logstash寫入日誌的時間 timestamp 17 may 2015 10 05 47 0000 apache日誌時間 需求 將timestamp賦值給 timestamp字段，但保留日誌寫入時間 解決辦法 1 使...
mysql查詢日誌分析 mysql日誌分析
日誌檔案 log 就是乙個跟蹤記錄的列表，它可以協助我們時刻掌握系統及應用服務的動作狀態，在故障排查的時候提供最詳細準確地資訊，幫助我們快速查詢原因，減少我們憑主觀的經驗去猜測，這樣的答案更具有說服力，機器通常是不會撒謊的。任何的系統，無論是作業系統 資料庫 應用伺服器他們都會有自己的log檔案，而...