筆記 簡談L1正則項L2正則和彈性網路

2022-06-07 03:24:07 字數 967 閱讀 4266

前情提要:

模型泛化與嶺回歸與lasso

ridge和lasso的後面新增的式子的格式上其實和mse,mae,以及尤拉距離和曼哈頓距離是非常像的

雖然應用場景不同,但是其表示出來的數學思想是非常相近的

對明科夫斯基距離進行泛化可以得到

對於任何向量x,都可以求其第i個維度的p次方的和在開p次方根,在數學上通常稱其為lp範數

(明科夫斯基距離:

)對於ridge來說,寫成

這種樣式,一般稱其為l2正則項

對於lasso來說,寫成

這種樣式,一般稱其為l1正則項

這樣就可以說是,對於嶺回歸來說,就是為損失函式新增乙個l2正則項,對於lasso來說,就是為損失函式新增乙個l1正則項

實際上還存在乙個l0正則項,為損失函式新增乙個項,這個項要讓theta的個數盡可能的小(本質是乙個離散項)

真的要使用的話,實際上用l1取代,因為l0正則的優化是乙個np難的問題

結合這兩種方式,在均方誤差後面新增乙個l1正則項再新增乙個l2正則項,其中引入乙個新的超引數r來表示這兩種正則項的比例是多少

一般使用的時候,先使用嶺回歸,但是如果特徵數特別大的話,就應該優先選擇彈性網,因為彈性網結合了嶺回歸的計算的優點,又結合了lasso的資料篩選的優勢

正則化(L1和L2正則)

稀疏性表示資料中心0佔比比較大 引西瓜書中p252原文 對於損失函式後面加入懲罰函式可以降低過擬合的風險,懲罰函式使用l2範數,則稱為嶺回歸,l2範數相當與給w加入先驗,需要要求w滿足某一分布,l2範數表示資料服從高斯分布,而l1範數表示資料服從拉普拉斯分布。從拉普拉斯函式和高斯函式的影象上看,拉普...

L1和L2正則化

l1和l2正則化 l1與l2正則化都是防止模型過擬合,其方式略有不同。具體請見下文。1 l1 正則化l1正則化 1範數 是指,各權值 變數 特徵 絕對值之和。其作用是產生權值的稀疏模型,也就是讓大部分權值為0.為什麼能產生權值稀疏模型?因為如下圖所示,各權值絕對值之和後得到乙個矩陣,很容易在矩陣的頂...

關於L1和L2正則

l0範數表示向量中非零元素的個數 也就是如果我們使用l0範數,即希望 w的大部分元素都是0 w是稀疏的 所以可以用於ml中做 稀疏編碼 特徵選擇。通過最小化l0範數,來尋找 最少最優的稀疏特徵項 但不幸的是,l0範數的最優化問題是乙個np hard問題,而且理論上有證明,l1範數是l0範數的最優凸近...