awk處理日誌檔案

2022-08-23 06:24:15 字數 1036 閱讀 6189

split出所需要的那一段文字,可以split多次,下標從1開始 

split(src, dst, "分隔符")

將所需要的鍵值對得到,並按 tab 分割,這裡只需要乙個,放在變數中$

awk -f '&' '} print "";}'

在每個檔案中對2中得到的不同值(還是鍵值對,但鍵是相同的)進行統計

awk ' end'

對3中得到的資料進行排序,數量多的在上   -r 逆序, -n數值,-t 分隔符,對tab得加$(對其他無影響,最好都加上$)

sort -k1 -rn -t $'\t' 

對從不同機器上得到的資料,彙總後進行統計,排序後逆序輸出到檔案

awk -f '\t' ' end'

最重要的如何在不同機器上同時操作,並如何將各個機器中的統計資料彙總到一起,公司內是用python寫的指令碼,可以同時連線多台主機進行操作,然後rsync回來。

另外:將多個檔案內容合併到乙個檔案中(不改變格式): awk '!a[v]++1' *.sort  > all.sort

grep, awk中使用shell變數

grep '$' 與正常shell一致

awk 要加上 ''   '$'

awk多檔案處理

a.txt內容如下 a 150 b 200 c 100 b.txt內容如下 abcd a 12.5 bbbb b 35 cccc c 42 dddd d 21 想要通過a.txt b.txt得到ba.txt abcd a 12.5 150 bbbb b 35 200 cccc c 42 100 dd...

awk 處理資料檔案

一 資料處理 1 程式 begin end a.dat b.dat merge.dat merge.dat 0 100 0 100 1 99 3 102 2 93 0 93 3 90 2 92nr fnr,只有當處理第乙個檔案a.dat時,這個值才返回true,所以相應的處理是把第二列的數賦值給陣列...

awk對apache日誌訪問的處理

awk名稱 於他的創始人姓氏的首字母 alfred aho peter weinberger和brian kernighan awk是乙個強大的文字分析工具,相對於grep的查詢,sed的編輯,awk在其對資料分析並產生報告時顯得尤為強大。awk其實是一門程式語言,它支援條件判斷 陣列 迴圈等功能。...