刪除檔案中重複的行

今天在經過多次執行指令碼後時候突然發現：/etc/hosts下面有好多重複的行，突然想起來之前記得學過有命令的，但是忘了，後來在群裡面吼了幾句，有好多牛人相應，閒來與大家分享，o(∩_∩)o~

[root@zy zy]# cat /etc/hosts

# do not remove the following line, or various programs

# that require network functionality will fail.

127.0.0.1 localhost.localdomain localhost puppet

192.168.55.229 master.puppet.com master

192.168.55.230 node1.puppet.com node1

192.168.55.231 node2.puppet.com node2

192.168.55.81 puppetmaster.99bill.com

192.168.55.229 zy.99bill.com zy

192.168.55.229 zy.99bill.com zy

192.168.55.229 zy.99bill.com zy

# cat /etc/hosts | sort | uniq

[root@zy zy]# cat /etc/hosts | sort | uniq

# that require network functionality will fail.

注意檢視：順序發生了變化，

這是因為sort的原因。

那麼我們可以直接執行：

# do not remove the following line, or various programs

192.168.55.229 zy.99bill.com zy

注意：這次我們發現只是重複的行給刪除了，只保留了一行。

另外：# cat /etc/hosts | sort

-u

可以直接刪除重複的,嘿嘿。。。

perl刪除檔案中的重複行

perl刪除檔案中的重複行 2011 09 28 19 59 57 分類 python ruby 如果有乙個檔案data有10g大，但是有好多行都是重複的，需要將該檔案中重複的行合併為一行，那麼我們需要用什麼辦法來實現 cat data sort uniq new data 該方法可以實現，但是你需...

awk中刪除重複行

在awk中，可以用！a 0 做為條件，對重複出現的行進行處理。bash 3.2 cat 2 abcabc ef123 dgag 123 bash 3.2 awk a 0 2 abcef 123dgag 對於awk a 3 需要了解3個知識點 1 awk陣列知識，不說了 2 awk的基本命令格式 aw...

刪除SQL中重複行

問題 乙個表有自增的id列，表中有一些記錄內容重複，也就是說這些記錄除了id不同之外，其他的資訊都相同。需要把重複的記錄保留一條，剩下的刪除。版本一 由於記錄有自增列，所以自增列可以做為記錄的唯一標識，由此可見，重複的記錄的自增id是乙個遞增關係，這裡我們可以只保留id最小的那條記錄，其它的全部刪除...