shell取出多列檔案中某一列重複的資料

2022-09-03 10:54:11 字數 519 閱讀 8250

檔案內容的格式是:

1  張三

2  李四

3  張三

第二列有重複資料,去重的指令碼如下:

#!/bin/bash

sort -t\t -k2 file.txt | awk -f'\t'

'else

if($2 !=value)}'

> target.txt

sort -t\t -k1 target.txt >result.txt

rm target.txt

首先將第二列進行排序: sort -t\t -k2 file.txt

然後if($2 == value) {}判斷 第一列是否與變數 value相等  (不必要擔心 value變數的值 在初始化時 awk 為 value賦值 為""),如果相等什麼多不做。  

else

if($2 !=value)

不列印著一行 如果不相等則列印著一行 從而起到去除重複資料的作用

一列拆分為多列

表1 col 11 22 33 22 33 44 33 55 44表2 col1 col2 col3 11 22 33 22 33 44 33 55 null 44 null null 就是要把表1轉化成表2的形式,但是表1中的col 例如11 22 33是我自己測試的,不確定有多少項組成。也可能出...

C DataTable 某一列求和

c datatable 某一列求和 1.列為數字型別double total convert.todouble datatable.compute sum 需要求和的引數 2.列為string 型別 先轉為數字型別 再求和 遇到是採用了這個方法 會報錯,加using system.linq 命名空間...

MySQL 某一列累加

形如這樣的 利用變數 sumsalary sumsalary salary,進行累加,但是別忘記初始化變數 select sumsalary 0 來個例項,某客網的mysql題目 60 按照salary的累計和running total,其中running total為前n個當前 to date 9...