自然語言處理的一些工具文件介紹

2021-08-20 23:27:10 字數 915 閱讀 9043

**:

preface:在自然語言處理的道路上,不知不覺地漸行漸遠,查詢資料見過很多任務具,也看過很多文件,依然還是過不好這一生。積累太少了,查詢資料雖多,實際應用上卻很少,記錄下來接觸過的一些nlp的工具。更新中...

我愛自然語言處理:

我愛機器學習:

一、ner(命名實體識別)

crfsuite: 

crf++: 

nersuite: 

二、pos(詞性標註)

crfsuite

genia tagger:生物領域的詞性標註工具。

三、chunk(組塊分析)

crfsuite, crf++

四、分詞

中科院分詞工具:ictclas

python包:jieba

斯坦福分詞工具:stanford parser

五、dependency(句法依存)

maltparser:

碼農場:

六、情感分析

開源的包:snownlp

#----------------------------------

自然語言處理工具篇:

ltp(語言技術平台):哈工大社會計算與資訊檢索研究中心歷時十年研製的一整套開放中文自然語言處理系統

hanlp:

snownlp

#----------------------------------

我愛機器學習網——機器學習資料大全:star

隨著時間的流逝而積累。

自然語言處理的一些工具

斯坦福的corenlp,可以用來entities的提取。關於情感分析 情感分析的詞庫,sentiment word wordnet 是近義詞詞典 sentiwordnet 基於wordnet的,現在已經 3.0了 sentiwords 基於sentiwords的 中文的 情感詞典 1.知網的情感詞典...

自然語言處理的語義建模介紹

摘要 本文主要是簡單介紹了自然語言處理 nlp 的語義建模思想。在本文中,我將簡單介紹自然語言處理 nlp 的語義建模思想。語義建模 或語義語法 通常與語言建模 或語言語法 相比較,我們現在從二者的定義和對比來理解語義建模。語義語法和語言語法都定義了理解自然語言句子的形式。語言語法涉及名詞 動詞等語...

自然語言處理中一些常用的資料增強的方式

1.加雜訊。加噪尤以去資訊為主 dropout 比如隨機扔詞 每次扔一類詞,每次扔乙個詞 比如隨機在 embedding 上 dropout 這個幾乎所有 neural model 都加了 有結構的 dropout 也就是所謂的 mask,即使用帶權的 mask 來遮蓋掉一些詞。2.同義詞替換。我們...