mecab(是奈良先端科技大學開發的日文分詞系統，基於crf的分詞原理，有c++實現，提供python、perl、ruby等介面
日文nlp中幾個著名的開源系統，juman,chasen,mecab，mecab比較新，速度快。
命名實體識別 name entity recognition 識別具有特定意義的實體，主要包含地名、人名、機構名。一般劃分為三大類（實體類，時間類和數字類），七小類（人名，機構名，地名，時間、日期、貨幣和百分比）命名實體。
NLP 自動分詞
統計自然語言處理 學習筆記 由字構詞的漢語分詞方法 2002 由字構詞的漢語分詞方法的思想 它是將分詞的過程看作字的分類問題。在以往的分詞方法中，無論是基於規則的方法還是基於統計的方法，一般都依賴於乙個事先編制的詞表，自動分詞的過程就是通過查詞表作出詞語切分的決策，與此相反，由字構詞的分詞方法認為每...
NLP筆記 分詞
分詞標註方案 分詞工具 常見模型 維護詞典 用語句中字串與詞典進行比較，找到則切分，否則不切分。相連的字反覆出現，認為它們可能組成的是乙個詞。補充 hmm 齊次馬爾科夫假設，發射概率，轉移概率 先基於詞典進行分詞，再使用統計方法輔助 處理未登入詞和歧義詞 標籤 b begin i intermedi...
NLP 使用jieba分詞
相比於機械法分詞法，jieba聯絡上下文的分詞效果更好。同時使用hmm模型對片語的分類更加準確。測試對如下文字的分詞效果 南門街前段時間經過整改勸阻擺攤佔道的情況改善了很多，但是情況好了幾天又慢慢的和以前一樣了，只要有人帶頭 後面慢慢又擺出來，很多商戶現在乾脆用鉤子把一些貨物掛門口屋簷下的電線上，上...