正則化其實是一種策略，以增大訓練誤差為代價來減少測試誤差的所有策略我們都可以稱作為正則化。
從數學角度可以這樣理解：正則化就是是使容易讓模型過擬合的那部分引數接近了0，從而凸顯出真正能代表資料的那部分引數。
（過擬合就是說，模型對訓練資料過於敏感，這樣反而削弱了對測試資料敏感程度，導致測試誤差較大）
比如l2正則化也叫權重衰減，通過對原模型加入l2正則化項，就能讓更能代表資料分布的那部分引數的作用凸顯出來，而使得讓模型易過擬合的那部分引數更接近0。
L1和L2正則化的理解
摘錄自 正則化之所以能夠降低過擬合的原因在於，正則化是結構風險最小化的一種策略實現。給loss function加上正則化項，能使得新得到的優化目標函式h f normal，需要在f和normal中做乙個權衡 trade off 如果還像原來只優化f的情況下，那可能得到一組解比較複雜，使得正則項no...
對L1正則化和L2正則化的理解
一 奧卡姆剃刀 occam s razor 原理 在所有可能選擇的模型中，我們應選擇能夠很好的解釋資料，並且十分簡單的模型。從貝葉斯的角度來看，正則項對應於模型的先驗概率。可以假設複雜模型有較小的先驗概率，簡單模型有較大的先驗概率。二 正則化項 2.1 什麼是正則化？正則化是結構風險最小化策略的實現...
L1和L2正則化的直觀理解
這部分內容將解釋 為什麼l1正則化可以產生稀疏模型 l1是怎麼讓係數等於零的 以及為什麼l2正則化可以防止過擬合 假設有如下帶l1正則化的損失函式 j j0 w w 1 j0 是原始的損失函式，加號後面的一項是l1正則化項，是正則化係數。注意到l1正則化是權值的 絕對值之和 j 是帶有絕對值符號的函...