配分函式z(θ
)z(\theta)
z(θ)
是概率分布的歸一化因子，一些概率模型中可以被設計成無需計算歸一化常數，而有些則必須直面計算歸一化因子的問題
p (x
;θ)=
1z(θ
)p^(
x;θ)
p(x;\theta)=\dfrac\hat(x;\theta)
p(x;θ)
=z(θ
)1p
^(x
;θ)1.對數似然梯度
通過最大似然學習無向模型特別困難的原因在於配分函式依賴於引數。對數似然相對於引數的梯度具有一項對應於配分函式的梯度：
∇
θlogp
(x;θ
)=∇θ
logp^
(x;θ
)−∇θ
logz(
θ)
\nabla_\theta \log p(x;\theta)=\nabla_\theta \log\hat(x;\theta)-\nabla_\theta \log z(\theta)
∇θlogp(
x;θ)
=∇θ
logp^
(x;θ
)−∇θ
logz(
θ)這是機器學習中非常著名的正相和負相分解
2.隨機最大似然和對比散度
3.偽似然
無向概率模型中很容易計算概率的比率，這樣可以使配分函式出現在比率的分子和分母中，從而相互抵消，使用條件概率（比例形式）代替原似然
4.得分匹配和比率匹配
5.去噪得分匹配
擬合以下分布來正則化得分匹配
p sm
ooth
ed(x
)=∫p
data
(y)q
(x∣y
)d
yp_(x)=\int p_(y)q(x|y)dy
psmoot
hed
(x)=
∫pda
ta(
y)q(
x∣y)
dy而不是擬合真實分布pda
ta
p_pd
ata
6.雜訊對比估計
雜訊對比估計（noise-contrastive estimation, nce）模型
log p
mode
l(x)
=logp
^(x;
θ)+c
\log p_(\mathbf)=\log \hat(\mathbf;\mathbf)+c
logpmo
del
(x)=
logp^
(x;θ
)+c使用相同的演算法同時估計θ
\theta
θ和cc
c 7.估計配分函式
在比較兩個概率模型時，需要比較測試集在模型上的概率似然，此時需要知道二者的歸一化因子，或者二者歸一化因子的比例，估計配分函式的方法有
許多概率模型難以訓練的原因是很難進行推斷。對於可見變數v
vv和一系列潛變數h
hh，推斷困難指難以計算p(h
∣v
)p(h|v)
p(h∣v)
或其期望
1.把推斷視作優化問題
通過優化似然函式的下界來優化似然函式
2.期望最大化
期望最大化（expectation maximization, em）演算法是乙個最大化下界的演算法
3.最大後驗推斷和稀疏編碼
最大後驗推斷（maximum a posteriori，map）：
h ⋆=
arg
maxhp
(h∣v
)h^=\arg \max_h p(h|v)
h⋆=arg
hmaxp
(h∣v
)稀疏編碼是一種在隱藏單元上加上了誘導稀疏性的先驗知識的線性因子模型
4.變分推斷和變分學習
變分學習的核心思想是在乙個關於q的有約束的分布族上最大化l
5.學成近似推斷
將多步的迭代過程看作乙個函式，用乙個神經網路來近似它
1.玻爾茲曼機
玻爾茲曼機最初作為一種廣義的「聯結主義」引入，用來學習二值向量上的任意概率分布
2.受限玻爾茲曼機
rbm是包含一層可觀察變數和單層潛變數的無向概率圖模型
3.深度信念網路
深度信念網路是具有若干潛變數的生成模型
4.深度玻爾茲曼機
深層的rbm
5.實值資料上的玻爾茲曼機
將玻爾茲曼機從二值擴充套件到實值
6.卷積玻爾茲曼機
引入卷積與池化結構
7.用於結構化或序列輸出的玻爾茲曼機
8.其他玻爾茲曼機
9.有向生成網路
10.從自編碼器取樣
11.生成隨機網路
去噪自編碼器的推廣，除可見變數外，在生成馬爾可夫鏈中還包括潛變數h
12.其他生成方案
13.評估生成模型
樣本的視覺質量是不可靠的標準，所以計算可行時，評估模型分配給測試資料的對數似然，但這在某些情況下也會無效
第十五周總結
第十五周總結 這周我們需要每個人製作乙個頁面，作為考核的一部分內容，但我進度比較慢，css都沒怎麼看，所以星期一的時候我又轉入了學習，並沒有開始真正的製作。等到晚上的時候開始著手製作，邊學邊做。剛開始比較蒙，不知道具體的細節，但也都一步一步的試著寫。但是還是有很多效果都沒有出來，頁面 經受不住打擊 ...
第十五周作業
要求二 7 1 求最大值及其下標 一，實驗 include int main void for i 0 i if max printf d d n max,j return0 二，設計思路 1.根據題意定義變數，分別是整型變數i 下標 n 陣列長度 j,max 最大值 a 10 陣列 2.理解題意，...
第十五周反思
第十五周反思 一.學習 這一周因為要進行前端頁面的考核，所以在一周裡其實也沒學到東西，但也沒到了不少東西。因為頁面的問題，自己沒少發愁，上網搜，問同學等等，導致這一周的課餘時間全用在了頁面上。但我不得不說這次的製作過程中，我確實學到了不少html以及css的知識和用法。雖然製作的過程很辛苦，我還通宵...