正則化的意義

2021-07-24 11:03:07 字數 635 閱讀 1287

機器學習中使用「正則化來防止過擬合」到底是乙個什麼原理?為什麼正則化項就可以防止過擬合?

這相當於是給模型引數w 新增了乙個協方差為1/alpha 的零均值高斯分布先驗。 對於alpha =0,也就是不新增正則化約束,則相當於引數的高斯先驗分布有著無窮大的協方差,那麼這個先驗約束則會非常弱,模型為了擬合所有的訓練資料,w可以變得任意大不穩定。alpha越大,表明先驗的高斯協方差越小,模型約穩定, 相對的variance也越小。 (via zhihu)

通俗來講,就是λ/

(2m)

ω(f)

是乙個與模型

f 有關的引數,如果不加此項,模型必定傾向於最小化損失函式j(

θ),這麼一來就很可能發生overfitting。引入該項後,如果模型過於複雜,該項的次數(degree)也更高,引發的懲罰(penalization)值也更大,由此抑制了模型的過度複雜化,λ也被稱為懲罰因子。

λ過小,則對「防止過擬合」幾乎無影響。λ過大,則使損失函式前半部分的權重大大降低,試想如果λ接近無限大,最終的結果是所有的

θ 都接近0,因此需要選擇適當的λ。

自動化測試的意義

自動化測試要解決的問題主要有兩個 乙個是可以重複使用的測試用例 乙個是手工測試很難實現 或是手工成本很高 的測試用例。首先說一句,自動化測試不是神話,也不是必須的,需要手工的時候還是需要手工 實現不了自動化的就不實現,效果差的或未達預期的 需要跑多次的,還需要手工輔助和二次校驗的 那麼什麼情況下需要...

去中心化存在的意義

今天來談談去中心化到底在區塊鏈中由什麼作用和意思,因為說到區塊鏈,那麼就會想到去中心化,感覺已經是習以為常了,那麼就想說上那麼一說。那我先概括的講一下去中心化的意思 區中心化通過各個節點的執行保證區塊鏈的穩定,從而避免資料的丟失 篡改 惡意支付等一些問題。我們先想象這樣應用場景 位元幣式 資產轉移完...

特徵歸一化的意義

在機器學習領域中,不同評價指標往往具有不同的量綱和量綱單位,這樣的情況會影響到資料分析的結果,這個時候我們就需要進行資料標準化處理,原始資料經過資料標準化處理後,各指標處於同一數量級,適合進行綜合對比評價。其中,最典型的就是資料的歸一化處理。資料的歸一化處理,即將資料統一對映到 0,1 區間上。1 ...