l1標準化與l2標準化
參考：l1、l2標準化及其python**實現
我們知道，正則化的目的是限制引數過多或者過大，避免模型更加複雜。
l1 與 l2 解的稀疏性
以二維情況討論，上圖左邊是 l2 正則化，右邊是 l1 正則化。從另乙個方面來看，滿足正則化條件，實際上是求解藍色區域與黃色區域的交點，即同時滿足限定條件和 ein 最小化。對於 l2 來說，限定區域是圓，這樣，得到的解 w1 或 w2 為 0 的概率很小，很大概率是非零的。
對於 l1 來說，限定區域是正方形，方形與藍色區域相交的交點是頂點的概率很大，這從視覺和常識上來看是很容易理解的。也就是說，方形的凸點會更接近 ein 最優解對應的 wlin 位置，而凸點處必有 w1 或 w2 為 0。這樣，得到的解 w1 或 w2 為零的概率就很大了。所以，l1 正則化的解具有稀疏性。
正則化是結構風險最小化的一種策略實現，能夠有效降低過擬合。損失函式實際上包含了兩個方面：乙個是訓練樣本誤差。乙個是正則化項。其中，引數 λ 起到了權衡的作用。
以 l2 為例，若 λ 很小，對應上文中的 c 值就很大。這時候，圓形區域很大，能夠讓 w 更接近 ein 最優解的位置。若 λ 近似為 0，相當於圓形區域覆蓋了最優解位置，這時候，正則化失效，容易造成過擬合。相反，若 λ 很大，對應上文中的 c 值就很小。這時候，圓形區域很小，w 離 ein 最優解的位置較遠。w 被限制在乙個很小的區域內變化，w 普遍較小且接近 0，起到了正則化的效果。但是，λ 過大容易造成欠擬合。欠擬合和過擬合是兩種對立的狀態。
【通俗易懂】機器學習中 l1 和 l2 正則化的直觀解釋
L1正則化和L2正則化
為了降低過擬合風險，需要控制模型複雜度，自然想到減少引數個數，但是這個問題不易直接解決，可以通過放寬條件控制。新增優化條件 這會使引數條件空間有明顯的凸角，這些突出點顯然會成為聯合優化時的最優解，但同時這些這些凸點中又會有較多的0值 由其限制條件可見，凸點都在座標軸上 因此l1範數會更易得到稀疏解，...
L1正則化和L2正則化
摘自 深度學習 l1正則化和l2正則化 在機器學習中，我們非常關心模型的 能力，即模型在新資料上的表現，而不希望過擬合現象的的發生，我們通常使用正則化 regularization 技術來防止過擬合情況。正則化是機器學習中通過顯式的控制模型複雜度來避免模型過擬合 確保泛化能力的一種有效方式。如果將模...
正則化（L1和L2正則）
稀疏性表示資料中心0佔比比較大 引西瓜書中p252原文 對於損失函式後面加入懲罰函式可以降低過擬合的風險，懲罰函式使用l2範數，則稱為嶺回歸，l2範數相當與給w加入先驗，需要要求w滿足某一分布，l2範數表示資料服從高斯分布，而l1範數表示資料服從拉普拉斯分布。從拉普拉斯函式和高斯函式的影象上看，拉普...