linux統計大檔案行數的命令效率大對比

2022-05-22 16:57:11 字數 2096 閱讀 1978

[administrator@mc-win@/cygdrive/e/softwares/project/log/click/2017-03-17@10:33:49]

517 $ time awk '' click.log_2017-03-17t04|tail -n1

real    0m2.535s

user    0m1.499s

sys    0m1.093s

[administrator@mc-win@/cygdrive/e/softwares/project/log/click/2017-03-17@10:34:11]

518 $ time wc -l click.log_2017-03-17t04

116570 click.log_2017-03-17t04

real    0m19.201s

user    0m17.640s

sys    0m0.078s

[administrator@mc-win@/cygdrive/e/softwares/project/log/click/2017-03-17@10:34:38]

519 $ time awk 'end' click.log_2017-03-17t04

real    0m0.375s

user    0m0.343s

sys    0m0.031s

[administrator@mc-win@/cygdrive/e/softwares/project/log/click/2017-03-17@10:35:22]

520 $ time grep -n "" click.log_2017-03-17t04|awk -f: '|tail -n1

grep: bad regex '': empty (sub)expression

real    0m0.084s

user    0m0.030s

sys    0m0.030s

[administrator@mc-win@/cygdrive/e/softwares/project/log/click/2017-03-17@10:36:15]

521 $ time grep -n "" click.log_2017-03-17t04|awk -f: ''|tail -n1

grep: bad regex '': empty (sub)expression

real    0m0.082s

user    0m0.030s

sys    0m0.015s

[administrator@mc-win@/cygdrive/e/softwares/project/log/click/2017-03-17@10:36:25]

522 $ time sed -n '$=' click.log_2017-03-17t04

real    0m0.885s

user    0m0.546s

sys    0m0.046s

還有  cat test1.sh |wc -l

這種就不要測試了,會把cpu用壞的吧!

time grep -n "" click.log_2017-03-17t04|awk -f: ''|tail -n1

這個是人家部落格寫錯了,正確的是:

time grep -n "" click.log_2017-03-17t04|awk -f: ''|tail -n1

表示只是擷取行號

上述grep 命令要求其支援""作為查詢模式,windows上的busybox 1.6版的grep不支援該功能。linux支援:

[root@mc-click@/home/share@11:00:07]

2019 $ time awk 'end' click_oom

real    0m0.013s

user    0m0.000s

sys    0m0.001s

[root@mc-click@/home/share@11:00:36]

2020 $ time grep -n "" click_oom |awk -f: ''|tail -n1

real    0m0.004s

user    0m0.004s

sys    0m0.003s

Linux統計檔案行數

語法 wc 選項 檔案 說明 該命令統計給定檔案中的位元組數 字數 行數。如果沒有給出檔名,則從標準輸入讀取。wc同時也給出所有指定檔案的 計數。字是由空格字元區分開的最大字串。該命令各選項含義如下 c 統計位元組數。l 統計行數。w 統計字數。這些選項可以組合使用。輸出列的順序和數目不受選項的順序...

Linux統計檔案行數

2011 07 17 17 32 by 依水間,21497 閱讀,0 語法 wc 選項 檔案 說明 該命令統計給定檔案中的位元組數 字數 行數。如果沒有給出檔名,則從標準輸入讀取。wc同時也給出所有指定檔案的 計數。字是由空格字元區分開的最大字串。該命令各選項含義如下 c 統計位元組數。l 統計行數...

Linux統計檔案行數

語法 wc 選項 檔案 說明 該命令統計給定檔案中的位元組數 字數 行數。如果沒有給出檔名,則從標準輸入讀取。wc同時也給出所有指定檔案的 計數。字是由空格字元區分開的最大字串。該命令各選項含義如下 c 統計位元組數。l 統計行數。w 統計字數。這些選項可以組合使用。輸出列的順序和數目不受選項的順序...