在上上一節邏輯回歸中，是使用似然函式來作為模型的求解引數的目標。
但在很多情況下，似然函式很難直接寫出，更常用的方法是損失函式，這個在上上一節的補充中也有提過。
那麼損失函式表示什麼概念呢？
和似然函式相反，損失函式是模型**失敗的度量。注意最大化似然函式和最小化損失函式兩者並不能完全等同，因為這涉及到所選取的引數。
對於機器學習模型來說，選擇哪一種都符合模型求解的規則，關鍵在於選擇哪一種標準（最大化似然函式or最小化損失函式）能夠進行求解。
損失函式分為兩個部分：損失向，正則項
損失項即代表模型誤判的度量，這和與上面說的損失函式的意義是一致的。
在介紹各類損失之前，先簡單說明樣本的資料，並引入幾個自定義引數。
從最簡答的二分類開始，樣本資料如下(x
i,yi
)，其中
xi是樣
本的屬性
，yi是
該樣本點
的標籤，
且yi∈
。 模型的形式為：f(
xi)
自定義引數如下： m=
f(xi
)(yi
−12)
m>0表示**正確，m<0表示**錯誤。
如果你看過其他資料，就會發現，一般m定義為m=
f(xi
)yi ,那是因為在這裡yi
∈ 和上上一節介紹的一樣，0-1損失應該是衡量模型最直接（應該也是最準確）的指標了，即
直接拿模型**的錯誤率來作為損失函式。0-1損失的損失函式定義如下： l0
−1(m
)={0
10≤m
0>m
這是乙個躍階函式，或者成為0-1函式。
模型求解的目標即是：mi
n∑l0
−1(x
) 0-1損失並不依賴於m的大小，而只與m的正負號有關，因此0-1損失是乙個非凸的函式，在求解的過程中，存在很多的不足，通常在實際的使用中將0-1損失函式作為乙個標準，選擇0-1損失函式的**函式作為損失函式。
既然是0-1損失的**，那麼log損失應該是0-1損失的近似，折中一點，至少損失函式的性狀最好和0-1函式形似。
躍階會導致函式不可微，一般我們還是習慣使用可微函式，畢竟nature never jump（除了量子力學）。
於是我們需要將m至於函式裡面，而不是作為分段函式的分段依據。 ln
(1+e
−m) 當m越大時，該值越小，表示損失越小；m越小時，該值越大，則表示損失越大。
於是log損失的損失項就出來了： ll
邏輯回歸就是使用的log損失作為模型求解引數的依據。
機器學習總結（四）損失函式的總結
在監督學習中，給定輸入x，可根據假設函式f x 輸出相應的y。這個f x 與y可能一致，也可能不一致。用損失函式來度量 錯誤的程度。通常希望的是損失函式的值越小越好。我們一般是通過優化損失函式，把損失函式的值最小時的引數作為 函式的引數值。常見的損失函式有 一 0 1損失函式 二 平方損失函式 常見...
機器學習損失函式梳理
沒有乙個適合所有機器學習演算法的損失函式。針對特定問題選擇損失函式涉及到許多因素，比如所選機器學習演算法的型別 是否易於計算導數以及資料集中異常值所佔比例。下文中總結了機器學習中比較重要的損失函式。均方誤差 mse 度量的是 值和實際觀測值間差的平方的均值。它只考慮誤差的平均大小，不考慮其方向。但由...
機器學習常見損失函式
損失函式作用 損失函式是用於衡量模型 值與真實值之間差距的函式，損失函式的值越小越好。常見的損失函式有如下幾種 0 1損失函式 zero one loss 當且僅當 為真的時候取值為1，否則取值為0。可以看出該損失函式過於嚴格，導致其具有非凸 非光滑的特點，使得演算法很難直接對該函式進行優化。感知損...