看了很多遍邏輯回歸的原理，但是發現自己還是不能完整的講清楚它的原理，所以在這裡寫一篇部落格來理清楚自己的思路。水平有限，如有錯誤還請指正。
邏輯回歸是利用回歸類似的方法來解決分類問題。假設有乙個二分類問題，輸出y
sigmoid函式的影象：
sigmoid函式中的z就是線性函式的z，因為g(z)最後輸出的時樣本類別的概率值，所以我們可以把閾值設為0.5，g(z)大於等於0.5的看作1，小於0.5的看作0，這樣我們就能利用邏輯回歸來處理二分類問題了。分類結果就是這樣子的。
那我們現在的問題就是怎樣計算得到線性函式的模型，也就是我們上文提到輸出為z的線性模型。為了使模型能分類更準確，我們需要得出乙個最優的線性模型函式。也就是下圖所示的公式。如何讓這個引數達到最優呢？我們就要對每個x找到最優的引數
此時我們可以先將線性模型和sigmoid函式結合起來構造邏輯回歸的**函式：
通常求解回歸問題(也就是上面的線性問題)的常規步驟為三步：
1.尋找**函式
2.構造損失函式j(
3.想辦法使得j(函式最小並求得回歸引數θ
上面我們已經寫出了輯回歸的**函式，所以下一步我們要構造損失函式j(。構造損失函式j(我們可能會先想到模仿線性回歸中的平方誤差作為損失函式，但是如果使用平方誤作損失函式的話我們得到的損失函式就是乙個非凸函式，這就意味著損失函式有許多區域性最優解，就不能得到全域性最優的
非凸函式（左）凸函式（右）
那我們就要構造其他的損失函式了。我們再來看問題本身，我們要解決的時二分類問題，函式
y（標籤）要麼取0要麼取1，這樣就可以把兩個類別進行整合，得到乙個更直觀的表達。
此時p就是某個樣本的概率值，我們只要最大化樣本的概率就可以得到最好的分類模型了。接下來我們用極大似然函式來求解樣本的概率值p
為了簡化運算，我們讓等式的兩邊都取對數，對數似然函式為：
這裡就是用極大似然估計來求最優的θ。最大似然估計就是求使
θ更新過程：
θ更新過程可以寫成：
這時我們就能求出最優的引數
關於邏輯回歸的**實現我就不在這裡寫了，網上已經有很多人寫了，很容易就能找到。
參考：[1]邏輯回歸(logistic regression)的本質——極大似然估計
[2]邏輯回歸 - 理論篇
[3]十分鐘掌握經典機器學習演算法-邏輯回歸
邏輯回歸原理
而在最大熵原理的指導下，我們知道了那條曲線應該是乙個什麼樣子的。首先，回顧我們之前推導出的最大熵模型為 ex p i 1nw ifi x,y ye xp i 1n wifi x,y 在二分類的邏輯回歸模型中，y的取值假定有兩種 y0 y1 那麼對應到特徵函式 fi x,y 上，我們可以設定 f x,...
邏輯回歸原理
最大似然估計 現在已經拿到了很多個樣本 你的資料集中所有因變數 這些樣本值已經實現，最大似然估計就是去找到那個 組 引數估計值，使得前面已經實現的樣本值發生概率最大。因為你手頭上的樣本已經實現了，其發生概率最大才符合邏輯。這時是求樣本所有觀測的聯合概率最大化，是個連乘積，只要取對數，就變成了線性加總...
邏輯回歸原理
目錄邏輯回歸 logistic regression 是分類方法。可以處理二元分類和多元分類。邏輯斯諦分布的密度函式 f x 和分布函式 f x 如圖。分布函式以點 left mu frac right 中心對稱。二元邏輯回歸模型是如下條件概率分布 p y 1 x frac tag p y 0 x ...