Linux實用技巧 刪除重複行

2021-09-02 19:18:45 字數 1067 閱讀 3178

linux實用技巧目錄：linux實用技巧——0_目錄

對於刪除檔案中的重複行，比如處理如下檔案

[root@mobius ~]


$cat file_test.txt


aaabbbbb


ccccc


123aaaaa


123bbb


aaa
需要得到的刪除為：

123


aaaaaaaa


bbbbbbbb


ccccc
下面給出四種方法

有關sort命令操作見linux 工作常用命令筆記-sort排序

解決方案如下：

[root@mobius ~]


$sort -u file_test.txt


123aaa


aaaaa


bbbbbbbb


ccccc
解決方案：

[root@mobius ~]


$sort file_test.txt |


uniq


123aaa


aaaaa


bbbbbbbb


ccccc
注意：只用uniq無法達到預期效果

解決方案：

[root@mobius ~]sort file_test.txt |


awk''


123aaa


aaaaa


bbbbbbbb


ccccc
注意：只用awk無法達到預期效果

解決方案：

[root@mobius ~]sort file_test.txt |


sed'$!n; /^\(.*\)\n\1$/!p; d'


123aaa


aaaaa


bbbbbbbb


ccccc

Linux 實用技巧

值得一提的是vim是慈善軟體 charityware 如有贊助或評比得獎，所得將全部救助烏干達孤兒，軟體使用是免費的，歡迎手頭有點閒錢的使用者捐款贊助，如果沒銀子也沒關係，至少當有評比活動時 有獎金可拿的那種 應用技巧一 快速注釋 1 連續行注釋 使用vim vi編輯shell指令碼，在進行除錯的時...

linux實用技巧

vim運用 linux查詢檔案 vi filename 開啟檔案，將游標置於第一行首 vi n filename 開啟檔案，將游標置於第n行首 vi filename 開啟檔案，將游標置於最後一行行首 vi filename.filename 開啟多個檔案依次編輯 按 ctrl b 螢幕往 後 移動...

linux 程式設計實用技巧

1 sizeof 引數為指標的問題。int i int j 10 sizeof i sizeof引數為指標時，返回指標資料型別所佔空間，一般為4 unsigned int 所佔byte sizeof j sizeof引數為陣列時，返回陣列所佔空間，此時為4 10 40 2 多執行緒中需考慮重入的問題...