幾種開源分詞工具的比較

2021-09-06 15:53:27 字數 3442 閱讀 2752

蒐集了一些資料,與同學一起進行了簡單的測試,總結例如以下。

分詞工  具 特點

支援語言 原理

詞典及擴充套件性

standardanalyzer

中文、英文(unicode

)中文:單字元切分

英文:依據空格切分

chineseanalyzer

中文,不支援中文和英文及數字混合的文字分詞 按字

分詞,與

standardanalyzer

對中文的分詞沒有大的差別

cjkanalyzer

中文,英文,

不支援中文和英文及數字混合的文字分詞

採用的雙字切分,也就是對一段文字按每兩個字來進行切分

ikanalyzer

英文本母、數字、中文詞彙等分詞處理,相容韓文、日文字元

正向迭代最細粒度切分演算法(詞典

+文法分析) 收錄

27萬中文詞彙,

支援使用者詞典擴充套件定義、支援自己定義停止詞

paoding 中文

支援不限制個數的使用者自己定義詞庫

mmanalyzer

支援英文、數字、中文(簡體)混合分詞

正向最大匹配演算法

支援動態擴充套件

mmseg4j

中文,包含

一些字元的處理 英文、俄文、希臘、數字(包含①㈠⒈

)的分出一連串的。眼下版本號沒有處理小數字問題

用 chih-hao tsai 

的 mmseg 演算法。

mmseg 演算法有兩種分詞方法:

******

和complex

,都是基於正向最大匹配。在

complex

基礎上實現了最多分詞

(max-word)

強制使用 utf-8)

使用sougou詞庫,也

可自己定義覆蓋

imdict

中文、英文、數字

隱馬爾科夫模型

僅coredict

核心字典、

bigramdict

詞典,不含人名、地名詞典。不支援自己定義詞典

分詞工具

特點 速度

文件完整性 大小

lucene版本號備註

standardanalyzer

chineseanalyzer

lucene contrib中附帶的分析器

cjkanalyzer

lucene contrib中附帶的二元分詞

ikanalyzer

3.2.8

83 萬字/秒(

1600kb/s)具體

2.62mb

lucene2.9、

lucene3.0

支援細粒度和最大詞長兩種切分模式

paoding

100萬字/秒

差點兒無

1.3mb

lucene3.0

mmanalyzer

第一次分詞須要1-2

秒(讀取詞典),之後速度基本與

lucene

自帶分詞持平 ,

不提供維護和支援

記憶體消耗30m+

lucene 1.9到

2.4之間

mmseg4j

complex 1200kb/s左右

, ****** 1900kb/s左右

mmseg 演算法是英文的,但原理比較簡單。實現也比較清晰。

記憶體開銷了50m左右

mmseg4j 1.8.3 僅僅支援 

lucene 2.9/3.0 

介面 。

mmseg4j 1.8.5 

支援 lucene 3.1

。imdict

259517字/秒

較全 詞典大小7.26mb

lucene2.9直接收錄

分詞效果演示:

消歧義效果:

分詞工具 效果

張三買了張三角桌

南京市長江大橋

standardanalyzer 張

|三|買

|了|張

|三|角

|桌 南|

京|市|

長|江|

大|橋chineseanalyzer 張

|三|買

|了|張

|三|角

|桌 南

|京|市

|長|江

|大|橋

cjkanalyzer 張三

|三買|買了

|了張|張三

|三角|角桌

南京|京市

|市長|長江

|江大|大橋

ikanalyzer

最大詞長 張三

|買了|張三

|三角|桌

南京市|市長

|長江大橋

最細粒度 張三

|三|買了

|張三|三角

|三|角

|桌南京市|南京

|市長|長江大橋|長江

|大橋paoding 張三

|買了|張三

|三角|桌   南

|南京|南京市|長

|市長|長江

|大 |大橋  

mmanalyzer 張三

|買了|張三角|桌

南京市|長江大橋

mmseg4j

******seg 張三

|買了|張三

|角|桌

南京市|長江大橋

complexseg 張三

|買了|張三

|角|桌

南京市|長江大橋

imdict 張

|三|買

|了|張

|三|三角

|桌南京市|長江

|大橋數字、英文混合分詞效果:

分詞工具 效果

我的qq號是

******

standardanalyzer 我

|的|qq

|號|是

|******

chineseanalyzer 我

|的|qq

|號|是

cjkanalyzer 我的

|qq|號

|是|******

ikanalyzer ik

我|的|qq|號

|是|******

mik 我

|的|qq

|號|是

|******

mmanalyzer 我的

|qq|號

|是|******

mmseg4j

******seg 我的

|qq|號

|是|******

complexseg 我的

|qq|號

|是|******

paoding 我

的|qq|

號|******

imdict 我

|的|qq

|號|******

幾種開源分詞工具的比較

蒐集了一些資料,與同學一起進行了簡單的測試,總結如下。分詞工 具 特點 支援語言 原理 詞典及擴充套件性 standardanalyzer 中文 英文 unicode 中文 單字元切分 英文 根據空格切分 chineseanalyzer 中文,不支援中文和英文及數字混合的文字分詞 按字 分詞,與 s...

幾種開源分詞工具的比較

蒐集了一些資料,與同學一起進行了簡單的測試,總結例如以下。分詞工 具 特點 支援語言 原理 詞典及擴充套件性 standardanalyzer 中文 英文 unicode 中文 單字元切分 英文 依據空格切分 chineseanalyzer 中文,不支援中文和英文及數字混合的文字分詞 按字 分詞,與...

幾種開源分詞工具的比較

蒐集了一些資料,與同學一起進行了簡單的測試,總結例如以下。分詞工 具 特點 支援語言 原理 詞典及擴充套件性 standardanalyzer 中文 英文 unicode 中文 單字元切分 英文 依據空格切分 chineseanalyzer 中文,不支援中文和英文及數字混合的文字分詞 按字 分詞,與...