生動理解TF IDF演算法

2022-06-11 10:03:09 字數 1101 閱讀 7555

tf-idf有兩層意思,一層是"詞頻"(term frequency,縮寫為tf),另一層是"逆文件頻率"(inverse document frequency,縮寫為idf)。

假設我們現在有一片長文叫做《量化系統架構設計》詞頻高在文章中往往是停用詞,「的」,「是」,「了」等,這些在文件中最常見但對結果毫無幫助、需要過濾掉的詞,用tf可以統計到這些停用詞並把它們過濾。當高頻詞過濾後就只需考慮剩下的有實際意義的詞。

第一步,計算詞頻:

考慮到文章有長短之分,為了便於不同文章的比較,進行"詞頻"標準化。

第二步,計算逆文件頻率:

這時,需要乙個語料庫(corpus),用來模擬語言的使用環境。

如果乙個詞越常見,那麼分母就越大,逆文件頻率就越小越接近0。分母之所以要加1,是為了避免分母為0(即所有文件都不包含該詞)。log表示對得到的值取對數。

第三步,計算tf-idf:

tf-idf的優點是簡單快速,而且容易理解。缺點是有時候用詞頻來衡量文章中的乙個詞的重要性不夠全面,有時候重要的詞出現的可能不夠多,而且這種計算無法體現位置資訊,無法體現詞在上下文的重要性。如果要體現詞的上下文結構,那麼你可能需要使用word2vec演算法來支援。

文章參考:

生動理解關聯規則 Apriori演算法

有趣的啤酒和尿布 啤酒與尿布 的例子相信很多人都聽說過吧,故事是這樣的 在一家超市中,人們發現了乙個特別有趣的現象,尿布與啤酒這兩種風馬牛不相及的商品居然擺在一起。但這一奇怪的舉措居然使尿布和啤酒的銷量大幅增加了。為什麼有這麼奇怪現象呢?看了資料後發現是因為美國婦女在丈夫回家前買尿布,然後丈夫順手買...

通俗理解TF IDF文字分析演算法

tf idf是一種文字詞頻 文字特徵提取 統計演算法 詞頻 tf 乙個詞語在文字中出現的頻率 文字總數 d 所蒐集的所有文字數 含關鍵字文字數 dw 含有某個詞 關鍵字 的文字數目 公式 注 idf處理目的 1 降低具有 普遍性 詞語的權重,提公升具有 個性化 的詞的頻率 2 分母dw 1是為了避免...

簡單理解TFIDF及其演算法python實現

通俗來講tf idf就是考慮單詞的重要性。字詞的重要性隨著它在檔案中出現的次數成正比增加,但同時會隨著它在語料庫中出現的頻率成反比下降。tf idf term frequency inverse document frequency 是一種統計方法,用以評估一字詞對於乙個檔案集或乙個語料庫中的其中乙...