Linux Shell 文字處理工具集錦

2021-09-30 12:54:04 字數 2794 閱讀 9689

本文將介紹linux下使用shell處理文字時最常用的工具:

find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk;

提供的例子和引數都是最常用和最為實用的;

我對shell指令碼使用的原則是命令單行書寫,盡量不要超過2行;

如果有更為複雜的任務需求,還是考慮python吧;

預設使用'\n'作為檔案的定界符;

-print0 使用'\0'作為檔案的定界符,這樣就可以搜尋包含空格的檔案;

grep match_patten file // 預設訪問匹配行

xargs 能夠將輸入資料轉化為特定命令的命令列引數;這樣,可以配合很多命令來組合使用。比如grep,比如find;

-d 定義定界符 (預設為空格 多行的定界符為 \n)

-n 指定輸出為多行

-i {} 指定替換字串,這個字串在xargs擴充套件時會被替換掉,用於待執行的命令需要多個引數時

eg:

cat file

.txt

|xargs -i

{}./

command

.sh -p

{}-1

-0:指定\0為輸入定界符

eg:統計程式行數

find source_dir/-

type f

-name

"*.cpp"

-print0

|xargs -0

wc -

l

字段說明:

-n 按數字進行排序 vs -d 按字典序進行排序

-r 逆序排序

-k n 指定按第n列排序

eg:

sort 

-nrk

1data

.txt

sort

-bd data

// 忽略像空格之類的前導空白字元

將兩個文字按列拼接到一起;

cat file112

cat file2

colin

book

paste file1 file2

1colin

2book

預設的定界符是製表符,可以用-d指明定界符

paste file1 file2 -d ","

1,colin

2,book

wc -l file // 統計行數

wc -w file // 統計單詞數

wc -c file // 統計字元數

nr:表示記錄數量,在執行過程中對應當前行號;

nf:表示字段數量,在執行過程總對應當前行的字段數;

$0:這個變數包含執行過程中當前行的文字內容;

$1:第乙個欄位的文字內容;

$2:第二個欄位的文字內容;

echo -e 

"line1 f2 f3\n line2 \n line 3"

|awk

''

var

=1000

echo

|awk

''vara

=$var

# 輸入來自stdin

awk

''vara

=$var file

# 輸入來自檔案

awk 'nr < 5' #行號小於5

awk 'nr==1,nr==4 ' file #行號等於1和4的列印出來

awk '/linux/' #包含linux文字的行(可以用正規表示式來指定,超級強大)

awk '!/linux/' #不包含linux文字的行

使用-f來設定定界符(預設為空格)

awk -f: '' /etc/passwd

使用getline,將外部shell命令的輸出讀入到變數cmdout中;

echo 

|awk

''

for(i=0;i<10;i++)

for(i in array)

eg:以逆序的形式列印行:(tac命令的實現)

seq 9|

\awk

' \end

} '

index(string,search_string):返回search_string在string**現的位置

sub(regex,replacement_str,string):將正則匹配到的第一處內容替換為replacement_str;

match(regex,string):檢查正規表示式是否能夠匹配字串;

length(string):返回字串長度

echo 

|awk

''

printf 類似c語言中的printf,對輸出進行格式化

eg:

seq 10|

awk

''

for

word

in$line;do

echo $word

;done

$:從字串中提取乙個字元;(bas**本切片)

$:返回變數word的長度

for((i

=0;i

<$;

i++))

doecho $

{word:i

:1);done

Linux shell 文字處理工具

本文將介紹linux下使用shell處理文字時最常用的工具 find grep xargs sort uniq tr cut paste wc sed awk 提供的例子和引數都是最常用和最為實用的 我對shell指令碼使用的原則是命令單行書寫,盡量不要超過2行 如果有更為複雜的任務需求,還是考慮p...

文字處理工具

參考 man,info,magedu講義 宣告 以下英文純屬個人翻譯,英文b級,歡迎糾正,以下內容純屬個人理解,並沒有對錯,只是參考,盜版不糾,才能有限,希望不誤人子弟為好。these commands read and write entire files,possibly transformin...

文字處理工具

linux 上文字處理三劍客 grep 文字過濾工具 模式 pattern awk linux上的實現為gwak 文字報告生成器 格式化文字 正規表示式 regual expression regexp 由一類特殊字元及文字所編寫的模式,其中有些字元表示其字面意義,grep options colo...