任何一段資訊文字，都可以對應乙個不太長的隨機數，作為區別它和其它資訊的指紋（fingerprint)。只要演算法設計的好，任何兩段資訊的指紋都很難重複，就如同人類的指紋一樣。資訊指紋在加密、資訊壓縮和處理中有著廣泛的應用。
; string content2 = "卓爾防線繼續傷筋動骨 隊長梅方出場再補漏說起來卓爾隊長梅方本賽季就是個「補漏」的命！在中衛與右邊後衛間不停地輪換。如果不出意外，今天與廣州恆大一戰梅方又要換位置，這也是漢軍隊長連續三場比賽中的第三次換位。而從梅方的身上也可以看出，本賽季漢軍防線如此「折騰」，丟球多也不奇怪了。梅方自2009賽季中乙出道便一直司職中後衛，還曾入選過布拉澤維奇國奧隊，也是司職的中衛。上賽季，梅方與忻峰搭檔雙中衛幫助武漢卓爾隊中超成功，但誰知進入本賽季後從第一場比賽開始梅方便不斷因為種種「意外」而居無定所。聯賽首戰江蘇舜天時，也是由於登貝萊受傷，朱挺位置前移，梅方臨危受命客串右邊後衛。第二輪主場與北京國安之戰梅方僅僅打了一場中衛，又因為柯釗受罰停賽4輪而不得不再次到邊路「補漏」。隨著馬丁諾維奇被棄用，梅方一度成為中衛首選，在與上海東亞隊比賽中，邱添一停賽，梅方與忻峰再度攜手，緊接著與申鑫隊比賽中移至邊路，本輪忻峰又停賽，梅方和邱添一成為中衛線上最後的選擇。至於左右邊後衛位置，卓爾隊方面人選較多，羅毅、周恒、劉尚坤等人均可出戰。記者馬萬勇"
; system.out
.println(new fingerprintservice().fingerprint(content));
system.out
.println(new fingerprintservice().fingerprint(content2));
結果：
content: 76cebd01faa63f38b45ea9756d26872c
content1: 76cebd01faa63f38b45ea9756d26872c
資料 文字去重
先排序，後取重 sort file.txt uniq usr bin python coding utf 8 import sys reload sys sys.setdefaultencoding utf 8 def text duplicate byset sourcepath,destpath...
文字如何去重？uniq awk
對於awk a 3 需要了解3個知識點 1 awk陣列知識，不說了 2 awk的基本命令格式 awk pattern 省略action時，預設action是，如awk 1 就是awk 1 3 var 的形式 先讀取var變數值，再對var值 1 以資料1 2 3 1 2 3 1 2 4 1 2 5 ...
文字去重之SimHash演算法
說到文字相似性計算，大家首先想到的應該是使用向量空間模型vsm vector space model 使用vsm計算相似度，先對文字進行分詞，然後建立文字向量，把相似度的計算轉換成某種特徵向量距離的計算，比如余弦角 歐式距離 jaccard相似係數等。這種方法存在很大乙個問題 需要對文字兩兩進行相似...