DFA演算法的簡單說明與案例實現

2021-08-03 09:45:15 字數 1343 閱讀 5204

專案中需要對敏感詞做乙個過濾,首先有幾個方案可以選擇:

a.直接將敏感詞組織成string後,利用indexof方法來查詢。

b.傳統的敏感詞入庫後sql查詢。

c.利用lucene建立分詞索引來查詢。

d.利用dfa演算法來進行。

首先,專案收集到的敏感詞有幾千條,使用a方案肯定不行。其次,為了方便以後的擴充套件性儘量減少對資料庫的依賴,所以放棄b方案。然後lucene本身作為本地索引,敏感詞增加後需要觸發更新索引,並且這裡本著輕量原則不想引入更多的庫,所以放棄c方案。於是我們選定d方案為研究目標。

dfa全稱為:deterministic finite automaton,即確定有窮自動機。其特徵為:有乙個有限狀態集合和一些從乙個狀態通向另乙個狀態的邊,每條邊上標記有乙個符號,其中乙個狀態是初態,某些狀態是終態。但不同於不確定的有限自動機,dfa中不會有從同一狀態出發的兩條邊標誌有相同的符號。

簡單點說就是,它是是通過event和當前的state得到下乙個state,即event+state=nextstate。理解為系統中有多個節點,通過傳遞進入的event,來確定走哪個路由至另乙個節點,而節點是有限的。

以王八蛋和王八羔子兩個敏感詞來進行描述,首先構建敏感詞庫,該詞庫名稱為sensitivemap,這兩個詞的二叉樹構造為:

用hash表構造為:

以上面例子構造出來的sensitivemap為敏感詞庫進行示意,假設這裡輸入的關鍵字為:王八不好,流程圖如下:

對於「王*八&&蛋」這樣的詞,中間填充了無意義的字元來混淆,在我們做敏感詞搜尋時,同樣應該做乙個無意義詞的過濾,當迴圈到這類無意義的字元時進行跳過,避免干擾。

兩種解決思路:一種是最簡單是遇到這類問題,先豐富敏感詞庫進行快速解決。第二種是判斷時將敏感詞轉換為拼音進行對比判斷。

不過目前這兩種方案均不能徹底很好的解決該問題,此類問題還需進一步研究。

log的簡單說明

ns3中的日誌功能是非常完善與靈活,大家有需要顯示一些除錯或者警告資訊時最好使用log,不再使用標準輸入來輸出中間資訊。ns log error 寫入log level error級別會輸出的日誌資訊 ns log warn 寫入log level warn級別會輸出的日誌資訊 ns log deb...

iOS block的簡單說明

一 先用xcode建立乙個空工程。1 block之前先用弄懂c語言的函式指標,看 typedef int sump int,int 用typedef定義乙個block型別 void test int sum int a,int b int main int argc,const char argv ...

log的簡單說明

ns3相關 core log ns3中的日誌功能是非常完善與靈活,大家有需要顯示一些除錯或者警告資訊時最好使用log,不再使用標準輸入來輸出中間資訊。ns log error 寫入log level error級別的日誌資訊 ns log warn 寫入log level warn級別日誌資訊 ns...