使用Python進行英文詞頻統計

2021-09-12 09:28:37 字數 877 閱讀 7402

1.讀取檔案,通過lower()、replace()函式將所有單詞統一為小寫,並用空格替換特殊字元。

def gettext():

txt = open("piao.txt","r",errors='ignore').read()

txt = txt.lower()

for ch in '!"#$&()*+,-./:;<=>?@[\\]^_·~『』':

txt = txt.replace(ch,"")

return txt

2.對處理後的文字進行詞頻統計存入字典。

txt = gettext()

words = txt.split()

counts = {}

for word in words:

counts[word] = counts.get(word,0) + 1

3.統計結果存為列表型別,按詞頻由高到低進行排序,輸出前十位。

items = list(counts.items())

items.sort(key=lambda x:x[1],reverse=true)

for i in range(10):

word,count = items[i]

print("".format(word,count))

輸入:

輸出:

英文詞頻統計

詞頻統計預處理 將所有,等分隔符全部替換為空格 將所有大寫轉換為小寫 生成單詞列表 生成詞頻統計 排序排除語法型詞彙,代詞 冠詞 連詞 輸出詞頻最大top10 word lately,i ve been,i ve been losing sleep dreaming about the things...

Python 《Hamlet》哈姆雷特英文詞頻統計

關鍵問題 1 詞語 鍵 2 相同詞語的累加 值 討論 定義什麼資料型別 字典型別 問題描述 i 檔案的輸入 p 採用字典型別的結構統計詞語出現的頻率 o 每個單詞及單詞出現的次數 要求輸出前10個 ipo細化 第一步 1 txt檔案讀取 txt.read filename r 2 檔案大小寫的轉換 ...

用python實現英文詞頻統計

1.字串的內建函式的呼叫一般不改變原字串,而列表的內建函式的呼叫一般會改變列表。trystr mytry print trystr.upper mytry print trystr mytry 要想改變原字串應該使用如下 trystr trystr.upper trylist 2 6,7 1,0 p...