優化目標中經常會有l
1l_1
l1或l
2l_2
l2範數正則項，我們知道這是一種約束，但是具體如何約束？怎麼理解？從何而來呢？
經常有兩種理解：
正則項**於約束優化中的約束條件，通過拉格朗日乘子法併入優化目標中。如[1]中所說。但是需要注意的是，二者不應說是等價的，因為在不等式約束優化中，引入的拉格朗日乘子在優化目標中被當成了待優化的引數，而不是乙個常數。因此不等式約束中的c不能能消掉。這樣確保最終求得的解一定滿足不等式約束。
正則項**於貝葉斯統計中的先驗分布。如[1][2]所述。
[1].
[2]. 極大似然估計與極大後驗估計
機器學習中正則化項L1和L2的直觀理解
1 1 norm和 2 2 norm，中文稱作l1正則化和l2正則化，或者l1範數和l2範數。w 1 w 1 即為l1正則化項。w 2 2 w 22 即為l2正則化項。w表示特徵的係數，從上式可以看到正則化項是對係數做了處理 限制 l1正則化和l2正則化的說明如下 w中各個元素的絕對值之和，通常表示...
機器學習中正則化項L1和L2的直觀理解
機器學習中幾乎都可以看到損失函式後面會新增乙個額外項，常用的額外項一般有兩種，一般英文稱作 1 role presentation 1 1 norm，中文稱作l1正則化和l2正則化，或者l1範數和l2範數。l1正則化和l2正則化可以看做是損失函式的懲罰項。所謂 懲罰 是指對損失函式中的某些引數做一些...
機器學習中正則化項L1和L2的直觀理解
在機器學習中，我們非常關心模型的 能力，即模型在新資料上的表現，而不希望過擬合現象的的發生，我們通常使用正則化 regularization 技術來防止過擬合情況。正則化是機器學習中通過顯式的控制模型複雜度來避免模型過擬合 確保泛化能力的一種有效方式。如果將模型原始的假設空間比作 天空 那麼天空飛翔...