linux下檔案去重

2021-09-17 03:46:56 字數 528 閱讀 9830

(1)兩個檔案的交集,並集

1. 取出兩個檔案的並集(重複的行只保留乙份)

cat file1 file2 | sort | uniq > file3

2. 取出兩個檔案的交集(只留下同時存在於兩個檔案中的檔案)

cat file1 file2 | sort | uniq -d > file3

3. 刪除交集,留下其他的行

cat file1 file2 | sort | uniq -u > file3

(2)兩個檔案合併

乙個檔案在上,乙個檔案在下

cat file1 file2 > file3

乙個檔案在左,乙個檔案在右

paste file1 file2 > file3

(3)乙個檔案去掉重複的行

sort file | uniq

注意:重複的多行記為一行,也就是說這些重複的行還在,只是全部省略為一行!

sort file | uniq –u

上面的命令可以把重複的行全部去掉,也就是檔案中的非重複行!

Linux下檔案去重

有多個檔案,每個檔案都有交集。現在要將每個檔案去重。這裡使用到3個命令 cat sort uniq cat檢視檔案內容 sort排序 uniq去重 1.取幾個檔案的並集 cat filea fileb filec sort uniq test cat test1 a1a2 a3a1 test sor...

linux 檔案去重

兩個檔案的交集,並集 前提條件 每個檔案中不得有重複行 1.取出兩個檔案的並集 重複的行只保留乙份 cat file1 file2 sort uniq file3 2.取出兩個檔案的交集 只留下同時存在於兩個檔案中的檔案 cat file1 file2 sort uniq d file3 3.刪除交...

Linux 檔案合併去重

第一 兩個檔案的交集,並集 前提條件 每個檔案中不得有重複行 1.取出兩個檔案的並集 重複的行只保留乙份 2.取出兩個檔案的交集 只留下同時存在於兩個檔案中的檔案 3.刪除交集,留下其他的行 1.cat file1 file2 sort uniq file3 2.cat file1 file2 so...