梯度消失和梯度**產生的原因
svm的原理
rf，svm和nn的優缺點
模型調優細節
如何防止過擬合
batch normalization的思想是什麼∗=
argm
in1n
∑i=1
nl(y
i,f(
xi;θ
i))+
λφ(θ
)θ∗=argmin1n∑i=1nl(yi,f(xi;θi))+λφ(θ)
0-1損失是指，**值和目標值不相等為1，否則為0： (y
,f(x
))={
1,y≠
f(x)
0,y=
f(x)
l(y,f(x))={1,y≠f(x)0,y=f(x)y−
f(x)
|<
t|y−f(x)|(y
,f(x
))={
1,|y
−f(x
)|≥t
0,|y
=f(x
)|<
tl(y,f(x))={1,|y−f(x)|≥t0,|y=f(x)|(y
,f(x
)=|y
−f(x
)|l(y,f(x)=|y−f(x)|
邏輯斯特回歸的損失函式就是對數損失函式，在邏輯斯特回歸的推導中，它假設樣本服從伯努利分布（0-1）分布，然後求得滿足該分布的似然函式，接著用對數求極值。邏輯斯特回歸並沒有求對數似然函式的最大值，而是把極大化當做乙個思想，進而推導它的風險函式為最小化的負的似然函式。從損失函式的角度上，它就成為了log損失函式。
log損失函式的標準形式： (y
,p(y
|x))
=−lo
gp(y
|x)l(y,p(y|x))=−logp(y|x)(y
,p(y
|x))
l(y,p(y|x))(y
|f(x
))=∑
n(y−
f(x)
)2l(y|f(x))=∑n(y−f(x))2(y
|f(x
))=e
xp[−
yf(x
)]l(y|f(x))=exp[−yf(x)]w,
b∑in
(1−y
i(wx
i+b)
)+λ|
|w2|
|minw,b∑in(1−yi(wxi+b))+λ||w2||m∑
i=1m
l(wx
i+by
i)+|
|w||
21m∑i=1ml(wxi+byi)+||w||2(w
xi+b
yi)l(wxi+byi)(y
)=ma
x(0,
1−ty
)l(y)=max(0,1−ty)y|
>
1|y|>1
機器學習總結一 常見的損失函式
1.通常機器學習每個演算法都會有乙個目標函式，演算法的求解過程就是對這個目標函式優化的過程。在分類或者回歸問題中，通常使用損失函式 代價函式 作為其目標函式。損失函式用來評價模型的 值和真實值不一樣的程度。損失函式越好，通常模型的效能越好。不同的演算法使用的損失函式不一樣。2.損失函式分為經驗損失函...
機器學習常見損失函式
損失函式作用 損失函式是用於衡量模型 值與真實值之間差距的函式，損失函式的值越小越好。常見的損失函式有如下幾種 0 1損失函式 zero one loss 當且僅當 為真的時候取值為1，否則取值為0。可以看出該損失函式過於嚴格，導致其具有非凸 非光滑的特點，使得演算法很難直接對該函式進行優化。感知損...
機器學習中常見的損失函式
一般來說，我們在進行機器學習任務時，使用的每乙個演算法都有乙個目標函式，演算法便是對這個目標函式進行優化，特別是在分類或者回歸任務中，便是使用損失函式 loss function 作為其目標函式，又稱為代價函式 cost function 損失函式是用來評價模型的 值y f x y f x 與真實值...