生活中我們經常聽到人們說「不要把雞蛋放到乙個籃子裡」，這樣可以降低風險。深究一下，這是為什麼呢？其實，這裡邊包含了所謂的最大熵原理（the maximum entropy principle）。本文為一則讀書筆記，將對最大熵原理以及由此匯出的最大熵模型進行介紹，重點給出其中所涉及數學公式的理解和詳細推導。相關鏈結最大熵學習筆記（零）目錄和引言
最大熵學習筆記（一）預備知識
最大熵學習筆記（二）最大熵原理
最大熵學習筆記（三）最大熵模型
最大熵學習筆記（四）模型求解
最大熵學習筆記（五）最優化演算法
最大熵學習筆記（六）優缺點分析
出處:
最大熵模型
最大熵模型學習中的對偶函式極大化等價於最大熵模型的極大使然估計。這樣最大熵模型的學習問題就轉換為具體求解對數似然函式極大化或對偶函式極大化的問題。邏輯斯蒂回歸模型 最大熵模型學習歸結為以似然函式為目標函式的最優化問題。iis試圖一次只優化其中乙個變數theai，而固定其他變數。這裡b thea w ...
最大熵模型
pw y x 1z w x exp i 1nw ifi x,y 其中，zw x yexp i 1n wifi x,y 最大熵模型的學習等價於約束最優化問題 minp c h p x yp x p y x logp y x s.t.ep fi ep fi 0,i 1,2 n yp y x 1 約束最優...
最大熵模型
學習概率模型時，在所有的可能概率模型 分布 中，熵最大的模型是最好的模型。通常根據約束條件來確定概率模型的集合，所以也可理解為 在滿足約束條件的模型集合中選取熵最大的模型。假設離散隨機變數 x 的概率分布是p x 則其熵是 h p xp x lo gp x 熵滿足不等式 0 h p lo g x 其...