Python分詞並進行詞頻統計

2021-07-26 09:28:57 字數 1013 閱讀 8181

方法一:

strs='1、大專以上學歷,年齡在18-28歲之間;2、計算機相關專業、自動化、測控、生儀、機電、數學、物理等等理工科專業優先;' \

'3、熱愛軟體開發事業、有較強的邏輯思維能力,對it行業抱有濃厚的興趣並有志於在it行業長遠發展,創造個人價值(非銷售、非保險崗位);4、有無相關經驗均可,歡迎優秀的應屆大學畢業生' \

'5、渴望能有一項紮實的技術、獲得乙份有長遠發展、穩定、有晉公升空間的工作;、學習能力強,工作熱情高,富有責任感,工作認真、細緻、敬業,責任心強;'

text1=jieba.cut(strs)

fd=nltk.freqdist(text1)

keys=fd.keys()

item=fd.iteritems()

print

' '.join(keys)

dicts=dict(item)

sort_dict=sorted(dicts.iteritems(),key=lambda d:d[1],reverse=true)

print sort_dict

方法二:

from collections import counter

import jieba.analyse

import time

bill_path = r'bill.txt'

bill_result_path = r'bill_result.txt'

car_path = 'car.txt'

with open(bill_path,'r') as fr:

data = jieba.cut(fr.read())

data = dict(counter(data))

with open(bill_result_path,'w') as fw:

for k,v in data.items():

fw.write("%s,%d\n" % (k.encode('utf-8'),v))

Python進行詞頻統計

1.測試文字 test.txt 2.測試文字內容 this is just for test 這只是用來測試的 this is just for test 這只是用來測試的 3.及解釋如下 import jieba def doc2matrix doc x open doc,r y x.read 讀...

Python進行詞頻統計

基礎python統計詞頻,未考慮到刪除停用詞 詞頻統計 defgettext 處理檔案 txt open english.txt r read txt txt.lower 將英文全部變為小寫 for ch in txt txt.replace ch,return txt mytxt gettext ...

用Python進行詞頻統計

def gettext txt open hamlet.txt r read 讀取檔案 txt txt.lower 把文字全部變為小寫 for ch in 把特殊字元變為空格 txt txt.replace ch,return txt hamlettext gettext words hamlett...