MEMM,HMM,CRF三者之間的關係

2021-08-01 21:21:33 字數 754 閱讀 8833

隱馬爾可夫模型(hidden markov model,hmm),最大熵馬爾可夫模型(maximum entropy markov model,memm)以及條件隨機場(conditional random field,crf)是序列標註中最常用也是最基本的三個模型。hmm首先出現,memm其次,crf最後。三個演算法主要思想如下:

hmm模型是對轉移概率和表現概率直接建模,統計共現概率。

memm模型是對轉移概率和表現概率建立聯合概率,統計時統計的是條件概率,但memm容易陷入區域性最優,是因為memm只在區域性做歸一化。

rf模型中,統計了全域性概率,在 做歸一化時,考慮了資料在全域性的分布,而不是僅僅在區域性歸一化,這樣就解決了memm中的標記偏置(label bias)的問題。

舉個例子,對於乙個標註任務,「我愛北京天安門「,

標註為」 s s  b  e b c e」
對於hmm的話,其判斷這個標註成立的概率為 p= p(s轉移到s)p(『我』表現為s) p(s轉移到b)p(『愛』表現為s) …*p().訓練時,要統計狀態轉移概率矩陣和表現矩 陣。

對於memm的話,其判斷這個標註成立的概率為 p= p(s轉移到s|』我』表現為s)p(『我』表現為s) p(s轉移到b|』愛』表現為s)p(『愛』表現為s)..訓練時,要統計條件狀態轉移概率矩陣和表現矩陣。

對於crf的話,其判斷這個標註成立的概率為 p= f(s轉移到s,』我』表現為s)….f為乙個函式,是在全域性範圍統計歸一化的概率而不是像memm在區域性統計歸一化的概率。

C C VC 三者之間的區別。

整理自 c語言是一種古老而又經久不衰的計算機程式語言,大約誕生於上個世紀60年代。由於它的設計有很多優點,多年以來深受廣大程式設計人員的喜愛,並逐漸 淘汰了很多其它程式語言。我們平時使用的大多數軟體都是用c語言開發的。很多後來出現的一些語言也沿用了很多它的東西。c語言的程式設計方式是一種稱為 面向過...

var const let 三者之間的區別

1.const定義的變數不可以修改,而且必須初始化。1 const b 2 正確2 const b 錯誤,必須初始化 3 console.log 函式外const定義b b 有輸出值4 b 5 5 console.log 函式外修改const定義b b 無法輸出 2.var定義的變數可以修改,如果不...

KVM Qemu Libvirt三者之間的關係

原始出處 作者資訊和本宣告。否則將追究法律責任。qemu qemu 是乙個模擬器,它向 guest os 模擬cpu 和其他硬體,guest os 認為自己和硬體直接打交道,其實是同 qemu 模擬出來的硬體打交道,qemu 將這些指令轉譯給真正的硬體。由於所有的指令都要從 qemu 裡面過一手,因...