正則化(L1和L2正則)

2022-08-03 11:21:12 字數 861 閱讀 5974

稀疏性表示資料中心0佔比比較大

引西瓜書中p252原文:

對於損失函式後面加入懲罰函式可以降低過擬合的風險,懲罰函式使用l2範數,則稱為嶺回歸,l2範數相當與給w加入先驗,需要要求w滿足某一分布,l2範數表示資料服從高斯分布,而l1範數表示資料服從拉普拉斯分布。從拉普拉斯函式和高斯函式的影象上看,拉普拉斯函式取到0的概率更大,這樣採用l1範數會有一些取到0

而且在小的資料是,l1比l2的懲罰力度大

我們對於最後的目標優化為 min d(w) + λ * r(w),其中r(w)表示正則項,然後我們轉化為求解 min d(w), s.t. r(w) <= η。

黃色區域為我們加入的懲罰項,轉化以後相當於乙個在黃色範圍內求解最小值的乙個過程。若相交為一篇區域,那麼我們總能找到一點,在區域內,並且使得d(w)的值最小,最終影象會相切,其中λ越小限制範圍越大,因為限制約小表明可以取的範圍約大,所以橙色面積越大。

從數學公式的角度來說 l1 = |w1| + |w2| + ... + |wn| 導數 wi為1, 而l2 = 1/2 * (w1^2 + w2^2 + ... + wn^2)導數wi 為wi,取學習速率為λ, l1範數為:wi = wi - λ * 1,l2範數為 wi = wi - λ * wi,這樣l1每次減去乙個定值,總能減到0,而l2每次取自己的(1-λ),下降比較緩慢

王小明,ser jamie

《機器學習》 周志華      

L1正則化和L2正則化

為了降低過擬合風險,需要控制模型複雜度,自然想到減少引數個數,但是這個問題不易直接解決,可以通過放寬條件控制。新增優化條件 這會使引數條件空間有明顯的凸角,這些突出點顯然會成為聯合優化時的最優解,但同時這些這些凸點中又會有較多的0值 由其限制條件可見,凸點都在座標軸上 因此l1範數會更易得到稀疏解,...

L1正則化和L2正則化

l1標準化與l2標準化 參考 l1 l2標準化及其python 實現 我們知道,正則化的目的是限制引數過多或者過大,避免模型更加複雜。l1 與 l2 解的稀疏性 以二維情況討論,上圖左邊是 l2 正則化,右邊是 l1 正則化。從另乙個方面來看,滿足正則化條件,實際上是求解藍色區域與黃色區域的交點,即...

L1正則化和L2正則化

摘自 深度學習 l1正則化和l2正則化 在機器學習中,我們非常關心模型的 能力,即模型在新資料上的表現,而不希望過擬合現象的的發生,我們通常使用正則化 regularization 技術來防止過擬合情況。正則化是機器學習中通過顯式的控制模型複雜度來避免模型過擬合 確保泛化能力的一種有效方式。如果將模...