L1和L2正則化

l1和l2正則化

l1與l2正則化都是防止模型過擬合，其方式略有不同。具體請見下文。

1 l1

正則化l1正則化（1範數）是指，各權值（變數、特徵）絕對值之和。其作用是產生權值的稀疏模型，也就是讓大部分權值為0.

為什麼能產生權值稀疏模型？因為如下圖所示，各權值絕對值之和後得到乙個矩陣，很容易在矩陣的頂點位置使得目標函式為極值，此時大部分權值就為0。

適用場景：線性回歸

正則化l1正則化（2範數）是指，各權值（變數、特徵）平方和開根。其作用是讓大部分權值接近0，防止模型過擬合。

二維平面下l2正則化的函式圖形是個圓，與方形相比，在權值接近0，而不是完全0時，使得目標函式為極值，這就是為什麼l2正則化不具有稀疏性的原因，但又能達到防止模型過擬合。

適用場景：大部分模型

l1和l2正則化

import tensorflow as tf import tensorflow.contrib as contrib weight tf.constant 1.0,2.0 3.0,4.0 with tf.session as sess print sess.run contrib.layers....

L1和L2正則化

l0範數指的是向量中非零元素的個數，l0正則化就是限制非零元素的個數在一定的範圍，這很明顯會帶來稀疏。一般而言，用l0範數實現稀疏是乙個np hard問題，因此人們一般使用l1正則化來對模型進行稀疏約束。稀疏性 參考 另外一種解釋 假設費用函式l與某個引數w的關係如圖所示 則最優的 w在綠點處，w非...

正則化（L1和L2正則）

稀疏性表示資料中心0佔比比較大 引西瓜書中p252原文 對於損失函式後面加入懲罰函式可以降低過擬合的風險，懲罰函式使用l2範數，則稱為嶺回歸，l2範數相當與給w加入先驗，需要要求w滿足某一分布，l2範數表示資料服從高斯分布，而l1範數表示資料服從拉普拉斯分布。從拉普拉斯函式和高斯函式的影象上看，拉普...