《深度學習導論及案例分析》一2 8條件隨機場

2021-09-23 16:27:30 字數 1360 閱讀 4079

從概率圖模型的角度看,條件隨機場(conditional random field,crf)是在給定一組輸入隨機變數或觀測變數x的條件下,另一組輸出隨機變數或目標變數y的條件概率分布模型,其特點是假定目標變數集構成馬爾可夫隨機場。所以,條件隨機場實際上可以看作是乙個通過觀測變數集x和目標變數集y定義的無向圖,或者說是乙個在給定x時,表達y的概率分布結構的馬爾可夫網路,但與其把它看作是對聯合概率分布p(y,x)的刻畫,還不如將它看作是對條件概率分布p(yx)的刻畫。p(yx)稱為條件隨機場,如果表達p(y,x)的馬爾可夫隨機場對任意節點y∈y,滿足下面的條件馬爾可夫性質,

p(yx,y-)=p(yx,nb(y)) (2.85)
根據hammersleyclifford定理,條件隨機場的條件概率分布p(yx)可以通過一組極大團dix的因子ψi(di)(i=1,…,l)表達如下:

p(yx)=1z(x)p(y,x)
p(y,x)=∏li=1ψi(di)
z(x)=∑y∈val(y)p(y,x)(2.86)
設x=和y=,條件概率分布p(yx)稱為線性鏈條件隨機場,如果滿足下面的線性條件馬爾可夫性質:

p(yix,y1,…,yi-1,yi+1,…,yn)=p(yix,yi-1,yi+1)(2.87)
條件隨機場雖然在理論上是乙個無向圖,但是它定義了y關於x的乙個條件分布,因此又可以將其視為乙個部分有向圖。例如,圖2.12a所示的無向圖表達了乙個常用的線性結構條件隨機場,稱為線性鏈條件隨機場(linear chain conditional random field),而這個條件隨機場也可以視為圖2.12b所示的有向圖,因為圖2.12a的無向圖和圖2.12b的部分有向圖在表達條件概率分布方面是等價的模型。不過應注意,圖2.12c的完全有向圖與它們是不等價的。

由於在圖2.12a的線性鏈條件隨機場中,所有的極大團是yi-yi+1(i=1,…,n-1)和yi-xi(i=1,…,n),因此根據hammersleyclifford定理,其概率分布具有如下形式:

p(yx)=1z(x)p(y,x)
p(y,x)=∏n-1i=1ψi(yi,yi+1)∏ni=1ψi(yi,xi)
z(x)=∑y∈val(y)p(y,x)(2.88)
此外,線性鏈條件隨機場還可以表達為對數線性模型(log linear model)的引數化形式,在實際應用中更為普遍,如果讀者感興趣,可進一步參閱相關文獻[100102]。

深度學習的概念案例

訓練集,測試集,特徵值,監督學習,非監督學習,半監督學習,分類,回歸 概念學習 學習是人類具有的一種重要智慧型行為,但究竟什麼是學習,長期以來卻眾說紛紜。社會學家 邏輯學家和心理學家都各有其不同的看法。機器學習是一門人工智慧的科學,該領域的主要研究物件是人工智慧,特別是如何在經驗學習中改善具體演算法...

深度優先演算法學習 案例

挑戰程式設計競賽第二版 巫澤俊 1.部分和問題 給定整數a1 a2 an,判斷是否可以從中選出若干數,使他們的和恰好為k。限制條件 1 n 20 10 8 ai 108 108 k 108 題解 利用深度優先演算法,分情況計算下去,遞迴。樣例 輸入 n 4 a k 15 輸出 no include ...

深度學習筆記(16) 誤差分析(一)

假設正在除錯貓分類器 然後在開發集取得了90 準確率,相當於10 錯誤 這離希望的目標還有很遠 也許需要看了一下演算法分類出錯的例子 注意到演算法將一些狗分類為貓 試想一下,可以針對狗,收集更多的狗圖 或者設計一些只處理狗的演算法功能之類的 為了讓的貓分類器在狗圖上做的更好,讓演算法不再將狗分類成貓...