textrank提取文件關鍵詞

一、textrank演算法簡介

二、textrank實現

1、將給定輸入的文章，進行分詞，如何將文章進行分詞可以使用jieba來實現。

2、對於分詞的詞語，我們可以對其詞性進行標註處理，並可以過濾掉一些停用詞（如：的、有...），只保留我們需要的詞性的單詞，名詞或者動詞或形容詞。

4、然後根據公式計算，最後可以等到每個單詞的權重，我們可以根據順序選取權重最大的前幾個。

三、textrank演算法的測試

測試文章

有很多不同的數學公式可以用來計算tf-idf。這邊的例子以上述的數學公式來計算。詞頻（tf）是一詞語出現的次數除以該檔案的總詞語數。假如一篇檔案的總詞語數是100個，而詞語「母牛」出現了3次，那麼「母牛」一詞在該檔案中的詞頻就是3/100=0.03。乙個計算檔案頻率（df）的方法是測定有多少份檔案出現過「母牛」一詞，然後除以檔案集裡包含的檔案總數。所以，如果「母牛」一詞在1,000份檔案出現過，而檔案總數是10,000,000份的話，其逆向檔案頻率就是log（10,000,000 / 1,000）=4。

最後的tf-idf的分數為0.03 * 4=0.12。

實現**，使用jieba實現的

import sys
import jieba
import jieba.analyse
from optparse import optionparser
file_name = "../txt/test.txt"
content = open(file_name, 'rb').read()
#allowpos表示輸出的詞性
for x in jieba.analyse.textrank(content,topk=20,withweight=false,allowpos=('ns','n','vn','v')):
print('%s' % (x))

輸出結果

檔案出現計算詞語數學公式份檔案頻率母牛測定集裡總數包含次數用來詞頻逆向方法

例子

四、tf-idf測試結果

import sys
import jieba
import jieba.analyse
from optparse import optionparser
file_name = "../txt/test.txt"
content = open(file_name, 'rb').read()
#10表示輸出的前10個
tags = jieba.analyse.extract_tags(content, topk=10)
print(",".join(tags))

輸出結果

000,檔案,母牛,詞語,tf,詞頻,100,0.03,idf,10

textrank提取文件關鍵詞

hanlp關鍵詞提取演算法TextRank

基於TextRank的關鍵詞提取演算法

NLP 關鍵詞提取之TextRank詳解

textrank提取文件關鍵詞

hanlp關鍵詞提取演算法TextRank

基於TextRank的關鍵詞提取演算法

NLP 關鍵詞提取之TextRank詳解

相關推薦