撒列實現關鍵字過濾，速度可快了

一直對搜尋、過濾很好奇，覺得他們很有技術含量，只有非常nb的人才能做。很想知道他們的原理，實現這樣的功能，設計是不是必須得非常nb非常奇特，**是不是要寫得非常好，效能非常高。總之這一切都不是我這樣級別的人能做的。直到我看了《程式設計珠璣(第二版)》中的這麼一段文字：

「假定我們可以在執行搜尋之前對文字內容進行預處理，那麼我們可以建立乙個撒列表（或者搜尋樹），為文件中的每個不同的單詞建立索引，並為每個單詞的每次出現儲存乙個鍊錶，這樣的逆向索引使得程式可以很快的找到給定的單詞，為了查詢短語，我們可以對其中包含的每個單詞的鍊錶進行交叉，但實現起來比較複雜，速度可能會很慢。（不過一些網頁搜尋引擎用的就是這樣的方法）」

思路就這麼簡單，我靠！連有的搜尋引擎也用這種思路。這種撒列的方式處理關鍵字過濾速度的確是蠻快，10000個字組織成乙個撒列表也就幾毫秒，只要你預分配的記憶體較好，基本上沒什麼操作，就是向記憶體中填資料。在撒列表中判斷乙個鍵是否存在的時間複雜度為o(1),其實還可以自己重寫dictionary，關鍵字過濾的效率可能會更好點。

實現的思路比較簡單：

1：處理關鍵字，生成乙個關鍵字字典表

2：處理要過濾的文字，同樣生成乙個字典表

3：將文字，兩個字典表三者進行比對

現在來測試下面一段文字（我上篇部落格中的一段文字）：

"看雲風部落格關於解決12306併發問題的啟發：我現在做駿卡介面，可能出現併發問題，就是乙個訂單可能向我們的介面傳送多個請求，而我現在做的方法是去資料庫中對應的表驗證，看訂單是否存在，如果存在就提示一下，如果不存在按流程走，但是這個樣每來乙個訂單我都需要去資料庫查，如果我在記憶體中維護乙個訂單集合，這樣就能很快解決判斷訂單是否存在的問題，慣性思維太嚴重了，什麼都去資料庫查，這樣的效能是最差的，其實很多問題在記憶體中就可以搞定的，最近還有乙個特別感受，不要做井底之蛙，多看牛人的東西收穫真的比自己埋頭寫**進步快很多，其實很多時候我寫的程式效能差，效率低都是因為方法的原因，沒有找到好的方法，沒有靈光一閃的感覺，用了最爛的方法解決問題"

測試**：

class program
console.read();}}

複製**

輸出結果截圖：

另外送上乙個簡單實用的**執行時間測試類，測試某段**的執行時間可是很方便的哦

using system;
using system.diagnostics;
namespace wordfilter
public
void dispose()
milliseconds (gcs=) 
", stopwatch.elapsedmilliseconds, gc.collectioncount(0) - collectcount, text);
}private
static
void perpareforoperation()}}

複製**

實現撒列的部分核心**：

public dictionary> handlekeywords(ienumerable text, int size)
len = s.length - 1;
for (i = 0; i < len; i++)
}else);}
}if (!diclist.containskey(s[len]))
}return diclist;
}

複製**

我也想貼出全部**，但是還有一些bug，功能還有待完善，完善一些了會貼出原始碼的，在截一張圖給大家看看

關鍵字過濾，希望能過濾掉大家不想聽的，陳太漢祝大家新年快樂

部落格：

撒列實現關鍵字過濾，速度可快了

撒列實現關鍵字過慮二（附原始碼）

撒列實現關鍵字過慮二（附原始碼）

mysql 關鍵詞過濾資料庫關鍵字過濾問題

撒列實現關鍵字過濾，速度可快了

撒列實現關鍵字過慮二（附原始碼）

撒列實現關鍵字過慮二（附原始碼）

mysql 關鍵詞過濾 資料庫關鍵字過濾問題

相關推薦

mysql 關鍵詞過濾資料庫關鍵字過濾問題