簡單解釋正則化為什麼能減小模型複雜度

2021-08-21 18:55:48 字數 366 閱讀 8111

理論上,從vc維的角度可以解釋,正則化能直接減少模型複雜度。(公式理論略)

直觀上,對l1正則化來說,求導後,多了一項η * λ * sgn(w)/n,在w更新的過程中:

對l2正則化來說,一方面,w的更新過程為:

若沒有l2,則w前面的係數為1,η、λ、n都是正的,所以 1−ηλ/n小於1,它的效果是減小w,這也就是權重衰減(weight decay)的由來。當然考慮到後面的導數項,w最終的值可能增大也可能減小。

模型的過擬合是因為考慮了過多的「不合適」樣本點,這樣,求導的時候,導數值很大,而自變數的值可大可小,所以意味著係數w要很大,所以當我們讓w減少的時候,即意味著忽略這些樣本點,即減小了模型的複雜度,解決了過擬合

正則化為什麼可以降低過擬合

在進行機器學習的模型訓練的時候,如果我們的訓練資料不夠,或者迭代的次數太多等等原因,可能會使我們的訓練誤差非常小,但是對測試集的誤差會很大,我們把這稱為過擬合,如圖 為了防止overfitting,可以用的方法有很多比如 early stopping 資料集擴增 data augmentation ...

什麼是序列化?為什麼要序列化?

從網路上查的 序列化 將物件的狀態資訊轉化為可以儲存或者傳輸的形式過程。在序列化期間,物件將其狀態寫入到臨時或者永續性儲存區。以後,可以通過從儲存區讀取或反序列化物件的狀態,重新建立該物件。當兩個程序在進行遠端通訊時,彼此可以傳送各種型別的資料。無論是何種型別的資料,都會以二進位制序列的形式在網路上...

資料的持久化,為什麼要持久化

但是什麼是資料庫持久化呢?持久資料其實就是將資料儲存到資料庫。資料持久化就是將記憶體中的資料模型轉換為儲存模型,以及將儲存模型轉換為記憶體中的資料模型的統稱 資料模型可以是任何資料結構或物件模型,儲存模型可以是關係模型 二進位製流等 cmp和hibernate只是物件模型到關係模型之間轉換的不同實現...