語義模型及自然語言處理系統基礎演算法

2021-09-17 08:17:18 字數 778 閱讀 4493

1.2 短語抽取的演算法模型

(1)基於互資訊和左右資訊熵演算法實現短語抽取

(2)lda

(3)textrank

1.3 自動摘要抽取演算法模型

(1)決策樹演算法

(2)邏輯回歸演算法

(3)貝葉斯演算法

1.4 計算任意詞距離演算法模型

(1)fp-growth演算法

(2)n-gram演算法

(3)bp演算法

1.5 拼音漢子混合識別演算法

(1)貝葉斯演算法模型

(2)hmm演算法模型

(3)rnn神經網路模型

nlp基礎演算法

2.1 分詞演算法

(1)dijkstra演算法

該演算法是乙個最短路徑搜尋圖的演算法,演算法本身應用的場景也很多。

(2)ac-doublearraytrie

該演算法結合有限狀態機和雙陣列trie樹兩個資料結構的優勢實現

2.2 詞性標註演算法

(1)最大熵演算法

該演算法是一種不確定資訊最大保留的演算法

(2)crf演算法

該演算法的思想主要**於最大熵模型和隱馬爾科夫模型

2.3 實體識別演算法

(1)馬爾可夫邏輯網演算法

該演算法是馬爾科夫網路的一種延伸,是在馬爾科夫網路的基礎上新增一階邏輯推理的功能。

(2)dipre演算法

2.4 文字**演算法

(1)lstm演算法

lstm演算法是遞迴神經網路的一種,它能實現對歷史資訊的長期記憶。

參考:自然語言處理技術 蘭紅雲

自然語言處理 資訊模型

今天拜讀了數學之美的第一章,例舉的例子感覺真是淺顯易懂,這裡不禁要對吳軍老師的寫作功底拜服,下面談談對資訊模型的理解,數字 文字和語言作為資訊的載體,他們的目的都是記錄和傳播資訊,就像我們的老祖先一樣烏拉烏拉幾句,對方就明白了,你丫的罵我,拿起石頭就扔過去了,其實他們的這種交流可以概括為 資訊1 編...

自然語言處理 序列模型

本文主要寫些關於常見序列模型的一些理解,主要是為了記錄一下,自己對這幾個模型的理解還遠遠不夠。馬爾可夫性是指當前狀態t 只和前一狀態t 1相關 一階 和之前t 2之前的就不相關,這個也算是n gram語言模型吧,都是為了控制模型複雜度 一方面模型過於複雜,資料集不夠會導致模型達不到收斂 另外一方面模...

自然語言處理基礎技術之語義角色標註

今天是總結nlp基礎技術的最後一篇,後面開始工具實戰篇,我覺得實踐對新手小白入門是相當有幫助的 語義角色標註定義 以下以基於成分句法樹的語義角色標註為例,任務的解決思路是以句法樹的成分為單元,判斷其是否擔當給定謂詞的語義角色 conll會議2008 2009 年則對依存分析和語義角色標註聯合任務進行...