在機器學習中，損失函式是非常重要的，用於衡量目標結果的好壞，用於訓練模型，損失函式就是目標函式了。常見的損失函式有以下幾種：
f(z)=1, 如果z是小於零的，其他就等於0.
性質：不是凸函式，不是連續的函式，數學性質不是非常好，一般用於感知機演算法，感知機演算法的損失函式就是這個。為了克服這個函式不連續，不是凸函式的問題，出現了其他幾種可以替代的函式
f(z) = max(0, 1-z)
典型的應用就是支援向量機的損失函式就是這個。
分析：
0/1損失函式是最理想的損失函式，如果分類錯誤（只要有乙個錯誤）就是1，全部正確就是0。不過這個函式有凸函式，不連續等性質，在實際應用中很難實現，所以才有了幾種替代的損失函式，他們都是連續，凸函式。其他的三個損失函式的0/1損失函式的上界，如果可以讓其他的三個損失函式比較小，也就可以近似的讓0/1損失函式比較小。hinge損失函式只要分類正確就不在要求，而其他的另個函式即使分類正確，也要追求更加正確，也就是說，如果你考60分幾個，hinge損失函式知道你得到60分就滿意。但是另外兩個就不會滿足於此，還會繼續讓你考80分，就是繼續讓你超更加好的方面更新，所以hinge損失函式是及格就好。要是不斷追求完美，這就會容易導致過擬合。這幾個函式的更新速度就是在分類效果差的時候，指數下降最快，慢慢變得分類效果好的時候，就是hinge下降最快。不過平方誤差函式分類很正確和分類錯誤很嚴重都會導致很大的誤差，模型會出問題，所以在分類的時候不用這個函式，只有在擬合的時候用這個損失函式。
機器學習中的損失函式
監督學習問題是在假設空間中選取模型作為決策函式，對於給定的輸入x，由f x 給出對應的輸出y，這個輸出的 值可能與真實值一致或不一致，可以用損失函式 loss function 或代價函式 cost function 來度量 錯誤的程度。f x 1,y f x 0,y f x f x 1 y f x...
機器學習中常見的幾種損失函式
通常機器學習每乙個演算法中都會有乙個目標函式，演算法的求解過程是通過對這個目標函式優化的過程。在分類或者回歸問題中，通常使用損失函式 代價函式 作為其目標函式。損失函式用來評價模型的 值和真實值不一樣的程度，損失函式越好，通常模型的效能越好。不同的演算法使用的損失函式不一樣。損失函式分為經驗風險損失...
機器學習 機器學習中的損失函式
在機器學習中，損失函式是用來衡量 結果與實際值之間差別大小的指標。一般的損失函式有5五種 l m 01ifm 0ifm 0 主要用於maximum margin的分類演算法，如svm演算法。hinge損失函式的描述如下式 l y max 0 1 t y 這裡t 1 or 1 y是 值，而t 是實際真...