jieba 利用jieba分詞

三種分詞模式

新增自定義詞典進行分詞

jieba提供了三種分詞模式，分別是全模式，精確模式和搜尋引擎模式。

全模式下會將所有可能的詞語都進行分詞，精確模式下會盡可能的將句子精確切開，搜尋引擎模式實在精確模式的基礎上，對長詞再進行劃分，提高分詞的召回率。使用cut和cut_for_search即可實現這三種分詞模式

jieba.cut 方法接受三個輸入引數：需要分詞的字串，cut_all引數用來控制是否採用全模式，hmm引數用來控制是否使用hmm模型。

jieba.cut_for_search 方法接受兩個引數：需要分詞的字串，是否使用hmm模型。

import jieba 
sentence = 'jieba提供了三種分詞模式，分別是全模式，精確模式和搜尋引擎模式。'
# 全模式
seg_list = jieba.cut(sentence, cut_all = true)
print("全模式："," ".join(seg_list))
# 精確模式（cut方法的預設模式）
seg_list = jieba.cut(sentence, cut_all = false)
print("精確模式："," ".join(seg_list))
# 搜尋引擎模式
seg_list = jieba.cut_for_search(sentence)
print("搜尋引擎模式："," ".join(seg_list))

輸出：

另：jieba分詞時，python檔名不能叫jieba，否則會導致jieba沒有cut屬性等錯誤。待分詞的字串可以是unicode或utf-8字串、gbk字串，但是不建議直接輸入gbk字串，可能無法預料地錯誤解碼成utf-8。以及上述方法返回的都是乙個可迭代的generator，也可以使用jieba.lcut和jieba.lcut_for_search直接返回list。

可以自行新增詞典，以便保證jieba能夠識別想識別的且jieba詞庫中沒有的詞。

add_word(word, feq = none, tag = none)，del_word(word) 可以很方便的動態修改詞庫。

suggest_freq(segment, tune = true) 可調節單個詞語的詞頻，使其能（或不能）被分出來。

jieba.load_userdict(file) ，通過file指定詞典路徑或檔案物件（若路徑或二進位制檔案，則檔案需為utf-8編碼），載入使用者自定義詞典，詞典格式為乙個詞佔一行，每一行分三部分：詞語、詞頻（可省略）、詞性（可省略），空格隔開。

import jieba 
sentence = 'jieba提供了三種分詞模式，分別是全模式，精確模式和搜尋引擎模式。'
seg_list = jieba.cut(sentence, cut_all = false)
print("新增前："," ".join(seg_list))
jieba.del_word('詞模式')
seg_list = jieba.cut(sentence, cut_all = false)
print("刪除後："," ".join(seg_list))
jieba.add_word('分詞模式')
seg_list = jieba.cut(sentence, cut_all = false)
print("新增後："," ".join(seg_list))
jieba.load_userdict('./word.txt')
seg_list = jieba.cut(sentence, cut_all = false)
print("新增詞典後："," ".join(seg_list))

輸出：

其中，word.txt檔案內容如下：

jieba 利用jieba分詞

jieba分詞原理

Jieba分詞簡介

jieba分詞詞性

jieba 利用jieba分詞

jieba分詞原理

Jieba分詞簡介

jieba分詞詞性

相關推薦