在**中看到l1正則化，可以實現降維，加大稀疏程度，菜鳥不太懂來直觀理解學習一下。
在工程優化中也學習過懲罰函式這部分的內容，具體給忘記了。而正則化正是在損失函式後面加乙個額外的懲罰項，一般就是l1正則化和l2正則化。之所以叫懲罰項就是為了對損失函式（也就是工程優化裡面的目標函式）的某個或些引數進行限制，從而減少計算量。
l1正則化的損失函式是
l2正則化的損失函式
從下圖理解更加直觀：
左圖為l1正則化，若考慮二維的情況，即只有兩個權值w1,
w2\ w^1,w^2\,
w1,w
2,令l1正則化的修正項為l = ∣w1
∣+∣w
2∣\ |w^1|+|w^2|\,
∣w1∣+∣
w2∣的約束條件下（圖中的黑色框）求原損失函式的最小值（圖中的等值線），可以看出，當等值線與l圖形首次相交的地方就是最優解，上圖中在上方頂點處相交，這個頂點就是最優解，這其中可以看出w
1\ w^1\,
w1= 0，從而就達到了減少引數產生稀疏模型，進而可以用於特徵選擇。
同理右圖為l2正則化的過程，可以想到l2正則化中磨去了稜角，例如在圖中相交的那一點，此時兩個引數都不為零，所以l2正則化不具有稀疏性。
參考：
L1和L2正則化的理解
摘錄自 正則化之所以能夠降低過擬合的原因在於，正則化是結構風險最小化的一種策略實現。給loss function加上正則化項，能使得新得到的優化目標函式h f normal，需要在f和normal中做乙個權衡 trade off 如果還像原來只優化f的情況下，那可能得到一組解比較複雜，使得正則項no...
對L1正則化和L2正則化的理解
一 奧卡姆剃刀 occam s razor 原理 在所有可能選擇的模型中，我們應選擇能夠很好的解釋資料，並且十分簡單的模型。從貝葉斯的角度來看，正則項對應於模型的先驗概率。可以假設複雜模型有較小的先驗概率，簡單模型有較大的先驗概率。二 正則化項 2.1 什麼是正則化？正則化是結構風險最小化策略的實現...
L1和L2正則化的直觀理解
這部分內容將解釋 為什麼l1正則化可以產生稀疏模型 l1是怎麼讓係數等於零的 以及為什麼l2正則化可以防止過擬合 假設有如下帶l1正則化的損失函式 j j0 w w 1 j0 是原始的損失函式，加號後面的一項是l1正則化項，是正則化係數。注意到l1正則化是權值的 絕對值之和 j 是帶有絕對值符號的函...