Linux下檔案去重

有多個檔案，每個檔案都有交集。 現在要將每個檔案去重。

這裡使用到3個命令：cat、sort、uniq

cat檢視檔案內容

sort排序

uniq去重

1. 取幾個檔案的並集

cat filea fileb filec | sort | uniq

➜  test cat test1

a1a2
a3a1
➜ test sort test1
a1a1
a2a3
➜ test sort test1 | uniq
a1a2
a3

2. 取幾個檔案的交集

cat filea fileb filec | sort | uniq -d

➜  test sort test1 | uniq -d

a1

3. 取幾個檔案不重複的部分

cat filea fileb filec | sort | uniq -u

➜  test sort test1 | uniq -d

a1

linux下檔案去重

1 兩個檔案的交集，並集 1.取出兩個檔案的並集 重複的行只保留乙份 cat file1 file2 sort uniq file3 2.取出兩個檔案的交集 只留下同時存在於兩個檔案中的檔案 cat file1 file2 sort uniq d file3 3.刪除交集，留下其他的行 cat fi...

linux 檔案去重

兩個檔案的交集，並集 前提條件 每個檔案中不得有重複行 1.取出兩個檔案的並集 重複的行只保留乙份 cat file1 file2 sort uniq file3 2.取出兩個檔案的交集 只留下同時存在於兩個檔案中的檔案 cat file1 file2 sort uniq d file3 3.刪除交...

Linux 檔案合併去重

第一 兩個檔案的交集，並集 前提條件 每個檔案中不得有重複行 1.取出兩個檔案的並集 重複的行只保留乙份 2.取出兩個檔案的交集 只留下同時存在於兩個檔案中的檔案 3.刪除交集，留下其他的行 1.cat file1 file2 sort uniq file3 2.cat file1 file2 so...