自己隨便亂粘的，自用
1、logloss對數損失函式
對數損失, 即對數似然損失(log-likelihood loss), 也稱邏輯斯諦回歸損失(logistic loss)或交叉熵損失(cross-entropy loss), 是在概率估計上定義的.它常用於(multi-nominal, 多項)邏輯斯諦回歸和神經網路,以及一些期望極大演算法的變體. 可用於評估分類器的概率輸出.
對數損失通過懲罰錯誤的分類,實現對分類器的準確度(accuracy)的量化. 最小化對數損失基本等價於最大化分類器的準確度.為了計算對數損失, 分類器必須提供對輸入的所屬的每個類別的概率值, 不只是最可能的類別. 對數損失函式的計算公式如下:
其中, y 為輸出變數, x為輸入變數, l 為損失函式. n為輸入樣本量, m為可能的類別數, yij 是乙個二值指標, 表示類別 j 是否是輸入例項 xi 的真實類別. pij 為模型或分類器**輸入例項 xi 屬於類別 j 的概率.
如果只有兩類 , 則對數損失函式的公式簡化為
這時, yi 為輸入例項 xi 的真實類別, pi 為**輸入例項 xi 屬於類別 1 的概率. 對所有樣本的對數損失表示對每個樣本的對數損失的平均值, 對於完美的分類器, 對數損失為 0 .
2、平方損失函式（最小二乘法, ordinary least squares ）
平方損失函式較為容易理解，它直接測量機器學習模型的輸出與實際結果之間的距離。這裡可以定義機器學習模型的輸出為yi，實際的結果為ti
，那麼平方損失函式可以被定義為：
3、指數損失函式（adaboost）
4、hinge損失函式（svm）
hinge loss用於最大間隔（maximum-margin）分類，其中最有代表性的就是支援向量機svm。
hinge函式的標準形式：
（與上面統一的形式：
其中，t為目標值（-1或+1），y是分類器輸出的**值，並不直接是類標籤。其含義為，當t和y的符號相同時（表示y**正確）並且|y|≥1時，hinge loss為0；當t和y的符號相反時，hinge loss隨著y的增大線性增大。
5、0-1損失函式和絕對值損失函式
0-1損失是指，**值和目標值不相等為1，否則為0：
感知機就是用的這種損失函式。但是由於相等這個條件太過嚴格，因此我們可以放寬條件，即滿足
絕對值損失函式：
常用損失函式
值和目標值不等,則為1,否則為0 l y,f x begin 1,y not f x 0,y f x end 0 1損失直接對應分類判別的錯誤與否,可以理解為是乙個 sign 函式,這樣的函式,是不連續的,非凸的,感知機就是用的這種損失,這種損失太嚴格 l y,f x y f x mae對於異常樣本...
常用損失函式詳解
1 平方損失 平方損失也可以理解為是最小二乘法，一般在回歸問題中比較常見，最小二乘法的基本原理是 最優擬合直線是使各點到回歸直線的距離和最小的直線，即平方和最。同時在實際應用中，均方誤差也經常被用為衡量模型的標準 2 對數損失 一般的概率模型或者是分類問題，大都使用對數損失函式作為衡量損失的標準，首...
深度學習常用損失函式
損失函式的作用是衡量實際輸出與預計輸出之間的差異，損失函式的設計是深度學習中十分重要的部分，不僅會影響到訓練的速度，還會影響隱含層中資料的分布情況。目前僅僅是總結了部分常用損失函式的計算方法，其中涉及很多統計學最優化知識，對此僅僅是淺嘗輒止，其中更多的原理還需要以後慢慢總結體會，以下僅簡要記錄其計算...