l2 regularization（權重衰減）l2
代表原始的代價函式，後面那一項就是
l2正則化項，它是這樣來的：所有引數
w的平方的和，除以訓練集的樣本大小n。
λ就是正則項係數，權衡正則項與
c0項的比重。另外還有乙個係數
1/2，
1/2經常會看到，主要是為了後面求導的結果方便，後面那一項求導會產生乙個2，與
1/2相乘剛好湊整。 l2
正則化項是怎麼避免
overfitting
的呢？我們推導一下看看，先求導：
可以發現
l2正則化項對
b的更新沒有影響，但是對於
w的更新有影響:
在不使用
l2正則化時，求導結果中
w前係數為
1，現在
w前面係數為
1−ηλ/n
，因為η、λ
、n都是正的，所以1−ηλ/n小於1，它的效果是減小w，這也就是權重衰減（weight decay）的由來。當然考慮到後面的導數項，w最終的值可能增大也可能減小。
另外，需要提一下，對於基於
mini-batch
的隨機梯度下降，w和
b更新的公式跟上面給出的有點不同：
對比上面
w的更新公式，可以發現後面那一項變了，變成所有導數加和，乘以
η再除以m，
m是乙個
mini-batch
中樣本的個數。
到目前為止，我們只是解釋了
l2正則化項有讓
w「變小
」的效果，但是還沒解釋為什麼
w「變小
」可以防止
overfitting
？乙個所謂
「顯而易見
」的解釋就是：更小的權值
w，從某種意義上說，表示網路的複雜度更低，對資料的擬合剛剛好（這個法則也叫做奧卡姆剃刀），而在實際應用中，也驗證了這一點，
l2正則化的效果往往好於未經正則化的效果。當然，對於很多人（包括我）來說，這個解釋似乎不那麼顯而易見，所以這裡新增乙個稍微數學一點的解釋（引自知乎）：
過擬合的時候，擬合函式的係數往往非常大，為什麼？如下圖所示，過擬合，就是擬合函式需要顧忌每乙個點，最終形成的擬合函式波動很大。在某些很小的區間裡，函式值的變化很劇烈。這就意味著函式在某些小區間裡的導數值（絕對值）非常大，由於自變數值可大可小，所以只有係數足夠大，才能保證導數值很大。
而正則化是通過約束引數的範數使其不要太大，所以可以在一定程度上減少過擬合情況
L1正則化產生稀疏模型，L2正則防止過擬合
j j0 alph a w w 1 1 j j0 a lpha w w 其中j0 j 0是原始的損失函式，後半部分為l1 l 1正則化項，為絕對值之和，j j 帶有絕對值符號的函式，因此 j role presentation j j是不完全可微的。機器學習的任務就是要通過一些方法 比如梯度下降 求...
l2範數求導 L2 正則化為什麼可以防止過擬合
l2 regularization 權重衰減 c0代表原始的代價函式，後面那一項就是l2正則化項，它是這樣來的 所有引數w的平方的和，除以訓練集的樣本大小n。就是正則項係數，權衡正則項與c0項的比重。另外還有乙個係數1 2，1 2經常會看到，主要是為了後面求導的結果方便，後面那一項求導會產生乙個2，...
防止過擬合 L1 L2正則化
在訓練資料不夠多時，或者overtraining時，常常會導致overfitting 過擬合 其直觀的表現如下圖所示，隨著訓練過程的進行，模型複雜度增加，在training data上的error漸漸減小，但是在驗證集上的error卻反而漸漸增大 因為訓練出來的網路過擬合了訓練集，對訓練集外的資料卻...