關於損失函式 Loss Function

**：

## 機器學習中常見的損失函式一般來說，我們在進行機器學習任務時，使用的每乙個演算法都有乙個目標函式，演算法便是對這個目標函式進行優化，特別是在分類或者回歸任務中，便是使用損失函式（loss function）作為其目標函式，又稱為代價函式(cost function)。損失函式是用來評價模型的**值 y

̂ =f(

x)與真實值y

的不一致程度，它是乙個非負實值函式。通常使用l(

y,f(

x))

來表示，損失函式越小，模型的效能就越好。設總有n

個樣本的樣本集為(x

,y)=

(xi,

yi)

，yi,

i∈[1

,n]

為樣本i

的真實值，yi

^=f(

xi),

i∈[1

,n]

為樣本i

的**值，f

為分類或者回歸函式。那麼總的損失函式為：l=

∑i=1

nℓ(y

i,yi

常見的損失函式ℓ(

yi,y

i^)

有以下幾種： ### zero-one loss zero-one loss即0-1損失，它是一種較為簡單的損失函式，如果**值與目標值不相等，那麼為1，否則為0，即：ℓ(

yi,y

i^)=

yi∈

更多請參見：[hinge-loss]( ### log loss 在使用似然函式最大化時，其形式是進行連乘，但是為了便於處理，一般會套上log，這樣便可以將連乘轉化為求和，由於log函式是單調遞增函式，因此不會改變優化結果。因此log型別的損失函式也是一種常見的損失函式，如在lr([logistic regression, 邏輯回歸](chrome-extension://ikhdkkncnoglghljlkmcimlnlhkeamad/pdf-viewer/web/viewer.html?file=https%3a%2f%2fpeople.eecs.berkeley.edu%2f~russell%2fclasses%2fcs194%2ff11%2flectures%2fcs194%2520fall%25202011%2520lecture%252006.pdf))中使用交叉熵(cross entropy)作為其損失函式。即：ℓ(

yi,y

i^)=

yi⋅l

ogyi

^+(1

−yi)

⋅log

(1−y

i^)

yi∈規定0

⋅log

⋅=0

### square loss square loss即平方誤差，常用於回歸中。即：ℓ(

yi,y

i^)=

(yi−

yi^)

2 y

i,yi

^∈ℜ

### absolute loss absolute loss即絕對值誤差，常用於回歸中。即：ℓ(

yi,y

i^)=

|yi−

yi^|

yi,yi^

∈ℜ

### exponential loss exponential loss為指數誤差，常用於boosting演算法中，如[adaboost](即：ℓ(

yi,y

i^)=

exp(

−yi⋅

yi^)

yi∈

一般來說，對分類或者回歸模型進行評估時，需要使得模型在訓練資料上使得損失函式值最小，即使得經驗風險函式最小化，但是如果只考慮經驗風險(empirical risk)，容易過擬合(詳細參見防止過擬合的一些方法)，因此還需要考慮模型的泛化能力，一般常用的方法便是在目標函式中加上正則項，由損失項(loss term)加上正則項(regularization term)構成結構風險(structural risk)，那麼損失函式變為： l

=∑i=

1nℓ(

yi,y

i^)+

λ⋅r(

ω)

其中λ是正則項超引數，常用的正則方法包括：l1正則與l2正則，詳細介紹參見：

防止過擬合的一些方法

關於損失函式 Loss Function

損失函式損失函式 Hinge

常見損失函式損失函式選擇方法

損失函式 SRGAN損失函式（目標函式）詳解

關於損失函式 Loss Function

損失函式 損失函式 Hinge

常見損失函式 損失函式選擇方法

損失函式 SRGAN損失函式（目標函式）詳解

相關推薦

損失函式損失函式 Hinge

常見損失函式損失函式選擇方法