串和序列處理 1 PAT Tree 子串匹配結構

2021-08-30 12:37:18 字數 3267 閱讀 8979

patricia tree  簡稱pat tree。它是 trie 結構的一種特殊形式。是目前資訊檢索領域應用十分成功的索引方

法,它是2023年由connel根據《patricia——patrical algorithm to retrieve information coded in alphanumeric》演算法發展起來的。

pat tree 在字串子串匹配 上有這非常優異的表現,這使得它經常成為一種高效的全文檢索演算法,在自然語言處理領域也有廣泛的應用。其演算法中最突出的特點就是採用半無限長字串(semi-infinite string 簡稱 sistring) 作為字串的查詢結構。

採用半無限長字串(sistring):一種特殊的子串資訊儲存方式。

比如乙個字串cuhk。它的子串有c、cu、cuh、cuhk、u、uh、uhk、h、hk、k十種。如果有n個字元的串,就會有n(n+1)/2種子串,其中最長的子串長度為n。因此我們不得不開闢

n(n+1)/2個長度為n的陣列來儲存它們,那麼儲存的空間複雜度將達到驚人的o(n^3)級別。

但是我們發現這樣乙個特點:

cuhk ——  完全可以表示

c、cu、cuh、cuhk

uhk   ——  完全可以表示

u、uh、uhk

hk     ——  完全可以表示

h、hk、

k       ——  完全可以表示k

這樣我們就得到了4個sistring: cuhk、uhk、hk和k。

pat tree的儲存結構

如果直接用單個字元作為儲存結點,勢必構造出一棵多叉樹(如果是中文字元的話,那就完蛋了)。檢索起來將會相當不便。事實上,pat tree是一棵壓縮儲存的二叉樹結構。現在我們用「cuhk」來構造出這樣一棵pat tree 。

開始先介紹一下pat tree的結點結構(看了後面的過程就再來理解這些概念)

* 內部結點:用橢圓形表示,用來儲存不同的bit位在整個完整bit sequence中的位置。

* 外部節點(葉子結點): 用方形表示,用來記錄sistring的首字元在完整sistring中的開始位置(字元索引)和sistring出現的頻次。

* 左指標:如果

待儲存的sistring在

內部結點所儲存的bit位置上的資料

是0,則將這個sistring儲存在該結點的左子樹中。

* 右指標:若資料是1,則儲存在右子樹中。

(1) 將所有sistring的字元轉化成1 bytes的ascii碼值,用二進位制位來表示。形成乙個bit sequence pattern(沒有的空字元我們用0來填充)。

sistring                           bit sequence

完整sistring  ->cuhk010 00011   01010101   01001000   01001011  

uhk0010 10101   01001000   01001011   00000000                          

hk0001001000   01001011   00000000   00000000

k00001001011   00000000   00000000   00000000

(2) 從第乙個bit開始我們發現所有sistring的前3個bit位都相同010,那麼相同的這些0/1串對於匹配來說就毫無意義了,因此我們接下來發現第4個bit開始有所不同了。uhk 的第4個bit是1,而cuhk、hk、k的第4個bit是0。則先構造乙個內部結點inode.bitsize=4(第4個bit),然後將uhk的字元索引 cindex=2(uhk的開始字元u在完整的cuhk的第2位置上)構造成葉子結點插入到inode的左孩子上,而cuhk、hk、k放在inode右子樹中。(如下圖2)

(3) 遞迴執行第2步,將cuhk、hk、k進一步插入到pat tree中。流程如下圖所示。所有sistring都插入以後結束。

注意:既然pat tree 是二叉查詢樹,那麼一定要滿足二叉查詢樹的特點。所以,內部結點中的bit 位就需要滿足,左孩子的bit 位< 結點bit 位< 右孩子的bit 位。

pat tree的檢索過程

利用pat tree可以實現對語料的快速檢索,檢索過程就是根據查詢字串在pat tree中從根結點尋找路徑的過程。當比較完查詢字串所有位置後,搜尋路徑達到pat tree的某一結點。

若該結點為葉子結點,則判斷查詢字串是否為葉子結點所指的半無限長字串的字首,如果判斷為真,則查詢字串在語料中出現的頻次即為葉子結點中記錄的頻次;否則,該查詢字串在語料中不存在。

若該結點為內部結點,則判斷查詢字串是否為該結點所轄子樹中任一葉子結點所指的半無限長字串的字首。如果判斷為真,該子樹中所有葉子結點記錄的頻次之和即為查詢字串的出現頻次。否則,查詢字串在語料中不存在。

這樣,通過pat tree可以檢索原文中任意長度的字串及其出現頻次,所以,pat tree也是可變長統計語言模型優良的檢索結構。

例如:要查詢string= 「cu 」(bit sequence=010 00 0 1 1 01010101) 是不是在cuhk 中。

(1) 根據「cuhk 」的pat tree 結構( 如上圖) ,根結點r 的bit position=4 ,那麼查詢bit sequence 的第4 個bit=0 。然後查詢r 的左孩子rc 。

(2) rc 的bit position=5 ,在bit sequence 的第5 個bit=0 。則查詢rc 的左孩子rcc 。

(3) rcc= 」 cuhk 」 已經是葉子結點了,則確定一下cu 是不是cuhk 的字首即可。

pat tree 的效率

特點:pat tree查詢的時間複雜度和樹的深度有關,由於樹的構造取決於不同bit位上0,1的分布。因此pat tree有點像二叉查詢樹 ,最壞情況下是單支樹(如上圖例子),此時的時間複雜度是o(n-1),n為字串的長度。最好情況下是平衡二叉樹 結構,時間複雜度是o(log2(n))。另外,作為壓縮的二叉查詢樹,其儲存的空間代價大大減少了。

pat tree的實際應用

pat tree在子串匹配上有很好的效率,這一點和suffix tree(字尾樹),kmp演算法的優點相同。因此pat tree在資訊檢索和自然語言處理領域是非常常用的工具。比如:關鍵字提取,新詞發現等nlp領域經常使用這種結構。

串和序列處理 1 PAT Tree 子串匹配結構

patricia tree 簡稱pat tree。它是 trie 結構的一種特殊形式。是目前資訊檢索領域應用十分成功的索引方 法,它是1992年由connel根據 patricia patrical algorithm to retrieve information coded in alphanu...

串和序列處理 1 PAT Tree 子串匹配結構

patricia tree 簡稱pat tree。它是 trie 結構的一種特殊形式。是目前資訊檢索領域應用十分成功的索引方 法,它是1992年由connel根據 patricia patrical algorithm to retrieve information coded in alphanu...

串和序列處理 1 PAT Tree 子串匹配結構

patricia tree 簡稱pat tree。它是 trie 結構的一種特殊形式。是目前資訊檢索領域應用十分成功的索引方 法,它是1992年由connel根據 patricia patrical algorithm to retrieve information coded in alphanu...