監督學習問題是在假設空間中選取模型作為決策函式，對於給定的輸入x，由f(x)給出對應的輸出y，這個輸出的**值可能與真實值一致或不一致，可以用損失函式（loss function）或代價函式（cost function）來度量**錯誤的程度。 f
(x)=
{1,y
≠f(x
)0,y
=f(x
) f(x
)={1
,y≠f
(x)0
,y=f
(x)l(
y,f(
x))=
(y−f
(x))
2 l(y
,f(x
))=(
y−f(
x))2
def
mse(true, pred):
return np.sum(((true – pred) ** 2))
from sklearn.metrics import mean_squared_error
y,f(
x))=
|y−f
(x)|
l (y
,f(x
))=|
y−f(
x)
|
def
mae(true, pred):
return np.sum(np.abs(true – pred))
from sklearn.metrics import mean_absolute_error
如果離群點是會影響業務、而且是應該被檢測到的異常值，那麼我們應該使用mse。另一方面，如果我們認為離群點僅僅代表資料損壞，那麼我們應該選擇mae作為損失。
l(y,
p(y|
x))=
−log
p(y|
x)l (y
,p(y
|x))
=−lo
gp(y
|x)le
xp(z
)=ex
p(−z
) lex
p(z)
=exp
(−z)
llog(z
)=lo
g(1+
exp(
−z))
l lo
g(z)
=log
(1+e
xp(−
z))lh
inge
(z)=
max(
0,1−
z)l hi
nge(
z)=m
ax(0
,1−z
)經驗風險最小化：當模型是條件概率分布，損失函式是對數損失函式時，經驗風險最小化等價於極大似然估計（mle）。
結構風險最小化：防止過擬合提出的策略，在經驗風險熵加上表示模型複雜度的正則化項或罰項。貝葉斯估計中的最大後驗概率估計（map）就是結構風險最小化的乙個例子。
《統計學習方法》 p7《機器學習》 p130
《深度學習》
機器學習 機器學習中的損失函式
在機器學習中，損失函式是用來衡量 結果與實際值之間差別大小的指標。一般的損失函式有5五種 l m 01ifm 0ifm 0 主要用於maximum margin的分類演算法，如svm演算法。hinge損失函式的描述如下式 l y max 0 1 t y 這裡t 1 or 1 y是 值，而t 是實際真...
詳解機器學習中的損失函式
class content layout post title 詳解機器學習中的損失函式 categories blog description 機器學習中常見的損失函式以及它們的特點和適用場景 keywords 機器學習 損失函式 風險函式 1.前言 我們知道機器學習的三要素是 方法 模型 策略 ...
詳解機器學習中的損失函式
0.687 2018.08.13 16 39 22 字數 2217 閱讀 757 class content layout blog title 詳解機器學習中的損失函式 categories blog description 機器學習中常見的損失函式以及它們的特點和適用場景 keywords 機器...