從PGM到HMM再到CRF self note

2021-08-02 12:19:19 字數 1362 閱讀 9739

問: 有一點不太明白 想請教:mrf和crf看起來好像就是p(x,y)和p(y|x)的差別,為什麼他們兩個模型的應用差距那麼的大呢?mrf廣泛運用在各種領域,crf大部分都用的linear

答: 忽略掉生成模型和判別模型的差別,如果只是給定了觀測變數x要計算隱變數y的概率話,而不需要生成乙個新的樣本的話,mrf和crf確實是一樣的。很多**裡用mrf,其實就是把mrf當成crf用的,所以你說他們用的是mrf也行,說他們用的是general crf也行。

linear-chain crf的強勢主要是在自然語言處理中的強勢吧,因為句子是乙個單詞的序列嘛,自然是一維的線性結構(暫時不考慮語言中的從句等遞迴結構或者其他資訊),不像影象那樣是二維的,因此用不著general crf。當然自然語言處理中也有用general crf的,比如做命名實體識別,有一句話開頭是green,你不知道這是個人名「格林」還是「綠色」這個詞放在句首所以要大寫。但如果這句話後面又出現了乙個首字母大寫的green,那就說明句首的green很可能是個人名。所以可以除了在相鄰單詞之間連邊外,再加上在同乙個詞的不同出現之間連邊,這時圖模型就有環了,變成了general crf(這種叫skip-chain crf)。

不過general crf很難訓練呀,影象處理裡面的mrf很多都是形狀規則的(格點形成乙個矩形,近似推斷的時候可以固定其他點每次求某一列或者某一行變數的marginal),而skip-chain crf邊的連線是不規則的,不同的句子的圖裡面環的個數和大小都可能不一樣,這就很麻煩了。(當然影象處理的時候也有的用超畫素把相似節點合併,這時候mrf的訓練就很麻煩了)加上也沒有什麼特別成熟的工具包來做skip-chain crf的推斷(印象中crf++和crfsuite都只能處理lc-crf),研究這個的人也就很少了。要建模那些複雜的遞迴或者引用關係的話,用crf那麼複雜,現在大家都改用神經網路了,比如lstm,反正keras搭個神經網路也就幾十行**都不到,很快的。

——摘自知乎的回答。

從 HTTP 到 HTTPS 再到 HSTS

近些年,隨著網域名稱劫持 資訊洩漏等網路安全事件的頻繁發生,安全也變得越來越重要,也促成了網路傳輸協議從 http 到 https 再到 hsts 的轉變。http 超文字傳輸協議 是一種用於分布式 協作式和超 資訊系統的應用層協議。http 是網際網路資料通訊的基礎。它是由全球資訊網協會 w3c ...

從CVPR,到ICCV,再到ECCV

記得大四我剛進實驗室做畢設的時候,看到一篇相關的 這篇 發表在cvpr上,當時我在想cvpr是個什麼東西,後來師兄告訴我這是我們計算機視覺領域乙個頂級國際會議的名字,它和iccv,eccv並稱為視覺三大。從此我潛意識裡一直覺得這些都是遙不可及的。轉眼兩年過去了,來到研二上學期。在過去的1年多時間裡,...

從 HTTP 到 HTTPS 再到 HSTS

近些年,隨著網域名稱劫持 資訊洩漏等網路安全事件的頻繁發生,安全也變得越來越重要,也促成了網路傳輸協議從 http 到 https 再到 hsts 的轉變。http 超文字傳輸協議 是一種用於分布式 協作式和超 資訊系統的應用層協議。http 是網際網路資料通訊的基礎。它是由全球資訊網協會 w3c ...