序列模型實現詞性標註

2021-10-09 16:25:49 字數 605 閱讀 3523

今天我們來看看 nlp 中乙個很重要且基本的問題:pos。

pos:part-of-speech tagging,即詞性標註,這是一種序列標註問題,就是輸入乙個句子,輸出每個詞在這句話中的詞性是什麼。例如,「我喜歡吃酸辣的熱狗」這句話中,「我」和「熱狗」是名詞,「喜歡」和「吃」是動詞,「酸辣的」是個形容詞。

詞性種類集合是預先定義好的,單詞的詞性也是取決於上下文的,即同樣的詞在不同的語境中詞性可能會有所不同。

正確地識別詞性會有助於理解一些語言問題,比如當我們遇到了有歧義的句子,有時通過標出詞性就能知道真正的意思。知道了哪個是名詞,我們就知道這句話涉及了哪些主體,知道了動詞是什麼,就知道主體之間要做什麼,知道哪些是形容詞,就可以了解事物的屬性如何。

詞性標註還經常作為其他自然語言處理任務的特徵,例如在 parsing 解析,relation extraction 關係提取,命名實體識別,情感分析,問答系統,自動生成文字等任務中都會用到詞性標註。

此外 pos 還經常和詞形還原一起作為預處理的步驟,例如在情感分析任務中,如果我們想要識別諷刺性的話語,在預處理中就可以做下面幾步:

詞性標註的詞性說明

1.cc coordinating conjunction 連線詞 2.cd cardinal number 基數詞 3.dt determiner 限定詞 如this,that,these,those,such,不定限定詞 no,some,any,each,every,enough,either,...

LTP詞性標註

a adjective 形容詞 美麗 b other noun modifier 其他的修飾名詞 大型,西式 c conjunction 連詞 和,雖然 d adverb 副詞 很 e exclamation 感嘆詞 哎 g morpheme 茨,甥 h prefix 字首 阿,偽 i idiom ...

jieba詞性標註

ag 形語素形容詞性語素。形容詞 為a,語素 前面置以a。a形容詞 取英語形容詞adjective的第1個字母。ad副形詞 直接作狀語的形容詞。形容詞 a和副詞 d並在一起。an名形詞 具有名詞功能的形容詞。形容詞 a和名詞 n並在一起。b區別詞 取漢字 別 的聲母。c連詞 取英語連詞conjunc...