zz simhash演算法的原理

2021-05-24 21:47:50 字數 3095 閱讀 7933

出處:

第一次聽說google的simhash演算法[1]時,我感到很神奇。傳統的hash演算法只負責將原始內容盡量均勻隨機地對映為乙個簽名值,原理上 相當於偽隨機數產生演算法。傳統hash演算法產生的兩個簽名,如果相等,說明原始內容在一定概率下是相等的;如果不相等,除了說明原始內容不相等外,不再提 供任何資訊,因為即使原始內容只相差乙個位元組,所產生的簽名也很可能差別極大。從這個意義上來說,要設計乙個hash演算法,對相似的內容產生的簽名也相 近,是更為艱難的任務,因為它的簽名值除了提供原始內容是否相等的資訊外,還能額外提供不相等的原始內容的差異程度的資訊。

simhash演算法的輸入是乙個向量,輸出是乙個f位的簽名值。為了陳述方便,假設輸入的是乙個文件的特徵集合,每個特徵有一定的權重。比如特徵可以是文件中的詞,其權重可以是這個詞出現的次數。simhash演算法如下:

view source

print?

11,將乙個f維的向量v初始化為0;f位的二進位制數s初始化為0;

22,對每乙個特徵:用傳統的hash演算法對該特徵產生乙個f位的簽名b。對i=1到f:

3如果b的第i位為1,則v的第i個元素加上該特徵的權重;

4否則,v的第i個元素減去該特徵的權重。

53,如果v的第i個元素大於0,則s的第i位為1,否則為0;

64,輸出s作為簽名。

這個演算法的幾何意義非常明了。它首先將每乙個特徵對映為f維空間的乙個向量,這個對映規則具體是怎樣並不重要,只要對很多不同的特徵來說,它們對所 對應的向量是均勻隨機分布的,並且對相同的特徵來說對應的向量是唯一的就行。比如乙個特徵的4位hash簽名的二進位制表示為1010,那麼這個特徵對應的 4維向量就是(1, -1, 1, -1)t ,即hash簽名的某一位為1,對映到的向量的對應位就為1,否則為-1。然後,將一 個文件中所包含的各個特徵對應的向量加權求和,加權的係數等於該特徵的權重。得到的和向量即表徵了這個文件,我們可以用向量之間的夾角來衡量對應文件之間 的相似度。最後,為了得到乙個f位的簽名,需要進一步將其壓縮,如果和向量的某一維大於0,則最終簽名的對應位為1,否則為0。這樣的壓縮相當於只留下了 和向量所在的象限這個資訊,而64位的簽名可以表示多達264 個象限,因此只儲存所在象限的資訊也足夠表徵乙個文件了。

明確了演算法了幾何意義,使這個演算法直觀上看來是合理的。但是,為何最終得到的簽名相近的程度,可以衡量原始文件的相似程度呢?這需要乙個清晰的思路 和證明。在simhash的發明人charikar的**中[2]並沒有給出具體的simhash演算法和證明,以下列出我自己得出的證明思路。

simhash是由隨機超平面hash演算法演變而來的,隨機超平面hash演算法非常簡單,對於乙個n維向量v,要得到乙個f位的簽名(fprint?

11,隨機產生f個n維的向量r1,…rf;

22,對每乙個向量ri,如果v與ri的點積大於0,則最終簽名的第i位為1,否則為0.

這個演算法相當於隨機產生了f個n維超平面,每個超平面將向量v所在的空間一分為二,v在這個超平面上方則得到乙個1,否則得到乙個0,然後將得到的 f個0或1組合起來成為乙個f維的簽名。如果兩個向量u, v的夾角為θ,則乙個隨機超平面將它們分開的概率為θ/π,因此u, v的簽名的對應位不同的概率等於θ/π。所以,我們可以用兩個向量的簽名的不同的對應位的數量,即漢明距離,來衡量這兩個向量的差異程度。

simhash演算法與隨機超平面hash是怎麼聯絡起來的呢?在simhash演算法中,並沒有直接產生用於分割空間的隨機向量,而是間接產生的:第 k個特徵的hash簽名的第i位拿出來,如果為0,則改為-1,如果為1則不變,作為第i個隨機向量的第k維。由於hash簽名是f位的,因此這樣能產生 f個隨機向量,對應f個隨機超平面。下面舉個例子:

假設用5個特徵w1,…,w5來表示所有文件,現要得到任意文件的乙個3維簽名。假設這5個特徵對應的3維向量分別為:

h(w1) = (1, -1, 1)t

h(w2) = (-1, 1, 1)t

h(w3) = (1, -1, -1)t

h(w4) = (-1, -1, 1)t

h(w5) = (1, 1, -1)t

按simhash演算法,要得到乙個文件向量d=(w1=1, w2=2, w3=0, w4=3, w5=0)t 的簽名,

先要計算向量m = 1*h(w1) + 2*h(w2) + 0*h(w3) + 3*h(w4) + 0*h(w5) = (-4, -2, 6)t ,

然後根據simhash演算法的步驟3,得到最終的簽名s=001。

上面的計算步驟其實相當於,先得到3個5維的向量,第1個向量由h(w1),…,h(w5)的第1維組成:

r1=(1,-1,1,-1,1)t ;

第2個5維向量由h(w1),…,h(w5)的第2維組成:

r2=(-1,1,-1,-1,1)t ;

同理,第3個5維向量為:

r3=(1,1,-1,1,-1)t .

按隨機超平面演算法的步驟2,分別求向量d與r1,r2,r3的點積:

dt r1=-4 < 0,所以s1=0;

dt r2=-2 < 0,所以s2=0;

dt r3=6 > 0,所以s3=1.

故最終的簽名s=001,與simhash演算法產生的結果是一致的。

從上面的計算過程可以看出,simhash演算法其實與隨機超平面hash演算法是相同的,simhash演算法得到的兩個簽名的漢明距離,可以用來衡量 原始向量的夾角。這其實是一種降維技術,將高維的向量用較低維度的簽名來表徵。衡量兩個內容相似度,需要計算漢明距離,這對給定簽名查詢相似內容的應用來 說帶來了一些計算上的困難;我想,是否存在更為理想的simhash演算法,原始內容的差異度,可以直接由簽名值的代數差來表示呢?

[1] detecting near-duplicates for web crawling.

[2] similarity estimation techniques from rounding algorithms.

[3]

[4]

simhash演算法的原理

第一次聽說google的simhash演算法 1 時,我感到很神奇。傳統的hash演算法只負責將原始內容盡量均勻隨機地對映為乙個簽名值,原理上相當於偽隨機數產生演算法。傳統hash演算法產生的兩個簽名,如果相等,說明原始內容在一定概率下是相等的 如果不相等,除了說明原始內容不相等外,不再提供任何資訊...

simhash演算法的原理

第一次聽說google的simhash演算法 1 時,我感到很神奇。傳統的hash演算法只負責將原始內容盡量均勻隨機地對映為乙個簽名值,原理上相當於偽隨機數產生演算法。傳統hash演算法產生的兩個簽名,如果相等,說明原始內容在一定概率下是相等的 如果不相等,除了說明原始內容不相等外,不再提供任何資訊...

simhash演算法的原理

第一次聽說google的simhash演算法 1 時,我感到很神奇。傳統的hash演算法只負責將原始內容盡量均勻隨機地對映為乙個簽名值,原理上相當於偽隨機數產生演算法。傳統hash演算法產生的兩個簽名,如果相等,說明原始內容在一定概率下是相等的 如果不相等,除了說明原始內容不相等外,不再提供任何資訊...