資料去重方法python python中去重的方法

2021-10-11 12:51:35 字數 760 閱讀 7554

在python中,有兩種方法進行去重:

1)對於list資料,去重方式如下:

a)原列表list_origin的內容如下:

list_origin = ["aaa", "ccc", "bbb", "aaa", "ddd", "bbb"]

b)進行去重,獲得新的列表new_list:

new_list = list(set(list_origin))

這裡的new_list=[『aaa『,『bbb『, 『ccc『, 『ddd『]

c)對新的列表進行排序,這裡採用原來列表中的順序對新列表進行排序:

new_list.sort(key = mailto.index)

這裡的new_list=[『aaa『,『ccc『, 『bbb『, 『ddd『]

2)第二種方法,可以借用dictionary中不能有重複出現的key的思想即可完成去重的功能:

a)原列表list_origin的內容如下:

list_origin = ["aaa", "ccc", "bbb", "aaa", "ddd", "bbb"]

b)將列表內容新增到字典中:

定義空字典:dict_tmp = {}

for single_value in list_origin:

dict_tmp[single_value] = ""

此時得到的字典的key即為去重後的內容。

notes:

哎,樓主當年沒好好學,竟然用第二種方法搞了好多專案中的去重工作……

原文:

資料的去重方法

利用object.assign 注意 那object.assign深拷貝還是淺拷貝呢?答案是第一級屬性深拷貝,第一級以下的級別屬性淺拷貝 比如物件的子元素是不可列舉,簡單資料型別 string,number,boolean,null,undefined 對其object.assign是深拷貝 物件的...

資料庫資料去重方法

1.2個結果進行union 時,也可以去重 2.group by 也可以去重 below is a reprint of others 假設現在資料庫中有乙個人員表 user 表中包括 主鍵id,姓名 身份證號碼 等字段。由於程式的的原因 好來發現表中有許多理論上重複的資料 即姓名 和身份證號相同的...

vector去重方法

1.排序以後使用unique 函式 unique函式比較的時相鄰的兩個元素,重複的放到vector尾部 sort vector.begin vector.end vector.erase unique vector begin vector end vector end unique 函式將重複的元...