眾所周知，二分類問題的損失函式為：
其中y代表標籤值（0,1）；h(θ,x)代表通過假設假設函式（sigmoid 函式）計算出的函式值（概率），sigmoid 函式的取值區間為（0,1）
當標籤值為1時，h(θ,x)的值為**y為1的概率，這個值越靠近0，logh(θ,x)的值就會越大，從而對loss值的懲罰也就越大；反之當標籤值為0時，1-h(θ,x)的值為**y為0的概率，這個值越靠近0，log(1-h(θ,x))的值就會越大。
二分類問題的決策函式為：
二分類問題也可以看做是多分類問題的特例，由此，k分類問題的loss函式表示式也可以延伸為:
多分類問題（softmax）的決策函式為：
（與二分類函式的決策函式比較，二分類函式的決策函式依然可以視為k分類問題的特例）
由此不難看出，在keras裡面activation選擇sigmoid的時候，與之對應的loss為binary_crossentropy；同理，activation選擇softmax的時候，與之對應的loss為categorical_crossentropy
邏輯回歸損失函式 cost function
邏輯回歸模型預估的是樣本屬於某個分類的概率，其損失函式 cost function 可以像線型回歸那樣，以均方差來表示 也可以用對數 概率等方法。損失函式本質上是衡量 模型預估值 到 實際值 的距離，選取好的 距離 單位，可以讓模型更加準確。1.均方差距離 left w right m left w...
線性回歸的損失函式與邏輯回歸的損失函式
xi yi 我們有如下的擬合直線 yi xi構建的損失函式是 c i 1 n yi yi 2表示每乙個訓練點 x i,yi 到擬合直線yi xi的豎直距離的平方和，通過最小化上面的損失函式可以求得擬合直線的最佳引數 這裡的損失函式之所以使用平方形式，是使用了 最小二乘法 的思想，這裡的 二乘 指的是...
邏輯回歸 損失函式與梯度下降
由於二分類結果是1或者0，這與數學的階躍函式很類似，但是階躍函式在x 0的位置會發生突變，這個突變在數學上很難處理。所以一般使用sigmoid函式來擬合 g z 1 1 e z 1 具體應用到邏輯回歸演算法中 z 0 1x1 2x2 nxn i 0n i xi tx 2 其中x i 表示樣本屬性 對...