tf-idf(term frequency–inverse document frequency)是一種用於資訊檢索與資訊探勘的常用加權技術。tf-idf是一種統計方法，用以評估一字詞對於乙個檔案集或乙個語料庫中的其中乙份檔案的重要程度。字詞的重要性隨著它在檔案**現的次數成正比增加，但同時會隨著它在語料庫**現的頻率成反比下降。tf-idf加權的各種形式常被搜尋引擎應用，作為檔案與使用者查詢之間相關程度的度量或評級。除了tf-idf以外，網際網路上的搜尋引擎還會使用基於鏈結分析的評級方法，以確定檔案在搜尋結果**現的順序。
tfidf的主要思想是：如果某個詞或短語在一篇文章**現的頻率tf高，並且在其他文章中很少出現，則認為此詞或者短語具有很好的類別區分能力，適合用來分類。tfidf實際上是：tf * idf，tf詞頻(term frequency)，idf反文件頻率(inverse document frequency)。tf表示詞條，在文件d**現的頻率。idf的主要思想是：如果包含詞條t的文件越少，也就是n越小，idf越大，則說明詞條t具有很好的類別區分能力。如果某一類c.中包含詞條t的文件數為m，而其它類包含t的文件總數為k，顯然所有包含t的文件數n=m+k，當gfl大的時候，n也大，按照idf公式得到的idf的值會小，就說明該詞條t類別區分能力不強。但是實際上，如果乙個詞條在乙個類的文件中頻繁出現，則說明該詞條能夠很好代表這個類的文字的特徵，這樣的詞條應該給它們賦予較高的權重，並選來作為該類文字的特徵詞以區別與其它類文件。這就是idf的不足之處.
原理在乙份給定的檔案裡，詞頻 (term frequency, tf) 指的是某乙個給定的詞語在該檔案**現的次數。這個數字通常會被正規化，以防止它偏向長的檔案。(同乙個詞語在長檔案裡可能會比短檔案有更高的詞頻，而不管該詞語重要與否。)
逆向檔案頻率 (inverse document frequency, idf) 是乙個詞語普遍重要性的度量。某一特定詞語的idf，可以由總檔案數目除以包含該詞語之檔案的數目，再將得到的商取對數得到。
某一特定檔案內的高詞語頻率，以及該詞語在整個檔案集合中的低檔案頻率，可以產生出高權重的tf-idf。因此，tf-idf傾向於過濾掉常見的詞語，保留重要的詞語。
例子有很多不同的數學公式可以用來計算tf- idf。詞頻 (tf) 是一詞語出現的次數除以該檔案的總詞語數。假如一篇檔案的總詞語數是100個，而詞語「母牛」出現了3次，那麼「母牛」一詞在該檔案中的詞頻就是 0.03 (3/100)。乙個計算檔案頻率 (df) 的方法是測定有多少份檔案出現過「母牛」一詞，然後除以檔案集裡包含的檔案總數。所以，如果「母牛」一詞在1,000份檔案出現過，而檔案總數是 10,000,000份的話，其檔案頻率就是 0.0001 (1000/10,000,000)。最後，tf-idf分數就可以由計算詞頻除以檔案頻率而得到。以上面的例子來說，「母牛」一詞在該檔案集的tf- idf分數會是 300 (0.03/0.0001)。這條公式的另乙個形式是將檔案頻率取對數。
在向量空間模型裡的應用
tf-idf權重計算方法經常會和余弦相似度(cosine similarity)一同使用於向量空間模型中，用以判斷兩份檔案之間的相似性。
搜尋引擎演算法研究專題五 TF IDF詳解
tf idf term frequency inverse document frequency 是一種用於資訊檢索與資訊探勘的常用加權技術。tf idf是一種統計方法，用以評估一字詞對於乙個檔案集或乙個語料庫中的其中乙份檔案的重要程度。字詞的重要性隨著它在檔案中出現的次數成正比增加，但同時會隨著它...
研究搜尋引擎的方法
搜尋引擎不斷更新技術調整演算法，來實現其高效 準確 歧義處理的效能，而滿足使用者搜尋體驗的需求。seoer為達到目標要適應搜尋引擎演算法的調整，迎合搜尋引擎的變化，這就需要搜尋引擎優化人員不斷的提公升自己，不斷摸索搜尋引擎調整趨勢。條條大路通羅馬 每個seoer對搜尋引擎排名的看法角度不同，但很多都...
研究搜尋引擎的方法
搜尋引擎不斷更新技術調整演算法，來實現其高效 準確 歧義處理的效能，而滿足使用者搜尋體驗的需求。seoer為達到目標要適應搜尋引擎演算法的調整，迎合搜尋引擎的變化，這就需要搜尋引擎優化人員不斷的提公升自己，不斷摸索搜尋引擎調整趨勢。條條大路通羅馬 每個seoer對搜尋引擎排名的看法角度不同，但很多都...