l1和l2正則化
1、作用
損失函式一般為經驗風險加上結構風險，其中結構風險最小化即正則化，減少過擬合
正則化可以看做先驗，
2、應用
線性回歸中，lasso回歸：正則項為λw的1範數
rige回歸：正則項為λw的2範數
svm：0.5w的2範數，即間隔
決策樹：α乘以葉子數
xgboost：
l1正則項，葉子節點的個數
l2正則項，平滑各葉子節點的**值
神經網路：
損失函式中引入正則項
cnn中的卷積和池化也是一種先驗
3、l1正則化求梯度
使用sgn（符號函式）
proximal gradient descent近端梯度下降
4、l1、l2區別
l1減少乙個常量（sgn（w）為1或-1，故為常量），而l2減少的是權重的乙個固定的比例；如果權重本身很大的話，l2減少的比l1減少的多，若權重小，則l1減少的更多。多以l1傾向於集中在少部分重要的連線上（w小）。這裡要注意的是：sgn（w）在w=0時不可導，故要事先令sgn（w）在w=0時的導數為0。
機器學習正則化
設p 1的實 數，p norm 定義為 x i 1 n xi p 1 p 1.1 這裡寫描述 如果方陣a是非奇異的，那麼a的conditio nnumber定義為 a a a 1 condition number是乙個矩陣穩定性或者敏感度的度量。矩陣的condition number在1附近，那麼它...
機器學習 正則化
為了增加模型的泛化能力，避免模型出現過擬合的現象，我們經常會加入正則化處理 當模型偏差較低，但是方差很大，尤其在輸入的維數較高時，很容易出現過擬合現象，當加入正則項，模型損失了一部分偏差，卻大大降低了模型的方差 l1和l2正則是我們經常用到的方法。l1正則 這種方法的結果會讓引數向量中許多元素趨於0...
機器學習正則化
正則化項可以是模型引數向量的範數 首先，範數是指推廣到高維空間中的模，給定向量x x1,x2,x3,xn 常用的向量的範數如下 l0範數 向量非零元素的個數 l1範數 向量各個元素絕對值之和 l2範數 向量各個元素的平方和然後求平方根 lp範數 向量各個元素絕對值的p次方求和然後求1 p次方 l正則...