在講mrf和crf之前，我們先來看看隨機場又是什麼意思？
一、隨機場
簡單來說，隨機場可以看作是一組對應於同一樣本空間的隨機變數的集合。一般來說，這些隨機變數之間存在依賴關係，也只有當它們之間存在依賴關係的時候，我們才會將其單獨拿出來看成乙個隨機場才有實際意義。
二、markov隨機場（mrf）
mrf（markov random fields）就是加了markov性質的隨機場。首先，乙個mrf對應乙個無向圖。這個無向圖上的每乙個節點對應乙個隨機變數，節點之間的邊對應隨機變數之間有概率依賴關係。因此，markov隨機場的結構本質上反應了其先驗關係，也就是哪些變數之間有依賴關係是要考慮的，哪些是可以忽略的。
markov性質是指，markov隨機場中任何乙個隨機變數，給定場中其他所有變數下該隨機變數的分布，等同於給定場中該變數的鄰居節點下該變數的分布。這個性質讓人聯想到馬氏鏈的定義：離當前因素較遠的因素對當前因素的性質影響不大。markov的性質可以看作是markov隨機場的微觀屬性，其巨集觀屬性是其聯合概率的形式。
假設mrf的變數集合為s=｛y1,...yn},p(y1,...yn)= 1/z * exp,其中z是歸一化因子，即對分子的所有y1,..yn求和得到。u(y1,..yn)一般稱為energy function, 定義為在mrf上所有clique-potential之和。t稱為溫度，一般取1。什麼是click-potential呢? 就是在mrf對應的圖中，每乙個clique對應乙個函式，稱為clique-potential。這個聯合概率形式又叫做gibbs distribution。hammersley and clifford定理表達了這兩種屬性的等價性。
如果clique-potential的定義和clique在圖中所處的位置無關，則稱該mrf是homogeneous；如果clique-potential的定義和clique在圖中的朝向(orientation)無關，則稱該mrf是isotropic的。一般來說，為了簡化計算，都是假定mrf即是homogeneous也是iostropic的。
三、條件隨機場（crf）
crf（conditional random fields）是一種判別式圖模式。因為其強大的表達能力和出色的效能，得到了廣泛的應用。從最通用的角度來看，crf本質上是給定了觀察值集合的mrf。如果給定的mrf中每個隨機變數下面還有觀察值，我們要確定的是給定觀察集合下，這個mrf的分布，就是條件分布，則這個mrf就是crf。crf的條件分布形式完全類似於mrf的分布形式，只不過多了乙個觀察集x，即p(y1,..yn|x) = 1/z(x) * exp{ -1/t * u(y1,...yn,x)。u(y1,..yn,x)仍舊是click-potential之和。
馬爾科夫鏈：
馬爾科夫隨機場（MRF）與條件隨機場（CRF）
條件隨機場 conditional random fields 是一種判別式圖模型，因為其強大的表達能力和出色的效能，得到了廣泛的應用。從最通用角度來看，crf本質上是給定了觀察值集合 observations 的馬爾可夫隨機場。在這裡，我們直接從最通用的角度來認識和理解 crf，最後可以看到，線性...
MRF馬爾科夫隨機場
hinton和ranzato最新的文章中用到了mrf馬爾科夫隨機場。一篇部落格 無向圖模型 undirected graphical model 又可稱為馬爾可夫隨機場 markov random field 是乙個可以由無向圖表示的聯合概率分布。設有聯合概率分布 p x x subset math...
條件隨機場
模型是指數函式形式，最後求的是特徵在整個序列的權重，因此是全域性解。而最大熵只是求當前狀態的輸出解，是區域性解，因此有標記偏置的問題。條件隨機場源自圖模型的概念，序列標註使用的是一階煉表。整個圖的聯合概率就是每個團的概率乘積，每個團的概率又可以表示成狀態函式和條件轉移函式的乘積。優化目標是條件隨機場...