部落格
如何理解拉格朗日乘子法？：適用條件解密svm系列（一）：關於拉格朗日乘子法和kkt條件：
解密svm系列（二）：svm的理論基礎：
深入理解拉格朗日乘子法（lagrange multiplier) 和kkt條件：
應用於凸函式的帶約束的組合優化問題。kkt條件
關於帶等式以及不等式的約束條件的凸函式優化。任何原始問題約束條件無非最多3種，等式約束，大於號約束，小於號約束，而這三種最終通過將約束方程化簡化為兩類：約束方程等於0和約束方程小於0。部落格kkt條件：函式的最優值必定滿足下面條件：
(1) l對各個x求導為零；
(2) h(x)=0;
(3) ∑αigi(x)=0，αi≥0。
最大熵模型（maxent）：萬法歸宗（上）最大熵模型最大熵模型（maxent）：萬法歸宗（下）
由於拉格朗日函式l(p,w)是p的凸函式，原始問題與對偶問題的解是等價的。這樣便可以通過求解對偶問題來求解原始問題。部落格對偶函式的極大化等價於最大熵模型的極大似然估計。
李航《統計學習方法》第六章——用python實現邏輯斯諦回歸（mnist資料集）李航《統計學習方法》第六章——用python實現最大熵模型（mnist資料集）
《統計學習方法》學習筆記
最近把李航的 統計學習方法 看完了，感覺很不錯，從概論到各個統計方法，由易到難層層推進，每個方法都有詳盡的數學公式推倒，感覺很適合有一定數學功底的人作為機器學習入門來看。可惜本人自幼愚鈍，資質欠佳，以前學的概率論與數理統計的知識都忘得差不多了，看得雲裡霧裡的，前面還好，越到後面越看不明白，遇到不懂的...
統計學習方法 學習筆記（1）
統計學習方法的三要素 模型 策略和演算法，統計學習的物件是資料 方法 模型 策略 演算法。監督學習，也就是利用訓練資料學習乙個模型，在用這個模型對測試樣本進行 而由於訓練資料是由人為提供的，所以稱之為監督學習。1 模型 模型即是假設空間對應的條件概率或者是決策樹函式。2 策略 這裡引入了損失函式和風...
李航 統計學習方法 學習筆記 1 統計學習方法概論
1.4 模型評估與模型選擇 1.5 其他.考研終於告一段落，接下來是安心等待入學。想利用這段時間系統學習一下機器學習基礎，簡單記錄一下自己的學習過程，也算是對自己的一種監督。下面詳細介紹一下 策略 首先引入損失函式與風險函式的概念。損失函式度量模型一次 的好壞，風險函式度量平均意義下模型 的好壞。統...