中文分詞 (word segmentation, ws) 指的是將漢字序列切分成詞序列。 因為在漢語中，詞是承載語義的最基本的單元。分詞是資訊檢索、文字分類、情感分析等多項中文自然語言處理任務的基礎。
詞性標註(part-of-speech tagging, pos)是給句子中每個詞乙個詞性類別的任務。 這裡的詞性類別可能是名詞、動詞、形容詞或其他。
下面的句子是乙個詞性標註的例子。 其中，v代表動詞、n代表名詞、c代表連詞、d代表副詞、wp代表標點符號。
詞性作為對詞的一種泛化，在語言識別、句法分析、資訊抽取等任務中有重要作用。
NLP基礎知識
1 聲學識別模型 將從麥克風收集來的聲音，進行一些訊號處理，將語音頻號轉化到頻域，從每10毫秒的語音中提出乙個特徵向量，提供給後面的聲學模型。聲學模型負責把音訊分類成不同的音素。接下來就是解碼器，可以得出概率最高一串詞串，最後一步是後處理，就是把單詞組合成容易讀取的文字。2 pomdp框架 3 ap...
NLP基礎知識
英文用nltk，中文用jieba，比較難處理的時候可能要借助正規表示式 2 derivation引申 影響詞性 walking walk walked walk went歸一成go are歸一成be 比如原本是are are,is is 標註後are v be,is v be 比如中文的 的，地，得...
NLP學習路徑（一） NLP基礎知識
1 基本術語 1 分詞 分詞常用手段 基於字典的最長串匹配，但歧義分詞很難。比如 美國 會 通過法案。美 國會 通過法案。2 詞性標註 詞性 動詞 名詞 形容詞等 目的 表徵詞的一種隱藏狀態，隱藏狀態構成的轉移就構成了狀態轉移序列。比如 我 r愛 v中國 ns。其中，ns代表名詞，v是動詞，ns，v...