為什麼一般不對偏置b進行正則化?

2021-09-19 01:25:46 字數 397 閱讀 9727

首先正則化主要是為了防止過擬合,而過擬合一般表現為模型對於輸入的微小改變產生了輸出的較大差異,這主要是由於有些引數w過大的關係,通過對||w||進行懲罰,可以緩解這種問題。

而如果對||b||進行懲罰,其實是沒有作用的,因為在對輸出結果的貢獻中,引數b對於輸入的改變是不敏感的,不管輸入改變是大還是小,引數b的貢獻就只是加個偏置而已。舉個例子,如果你在訓練集中,w和b都表現得很好,但是在測試集上發生了過擬合,b是不背這個鍋的,因為它對於所有的資料都是一視同仁的(都只是給它們加個偏置),要背鍋的是w,因為它會對不同的資料產生不一樣的加權。

或者說,模型對於輸入的微小改變產生了輸出的較大差異,這是因為模型的「曲率」太大,而模型的曲率是由w決定的,b不貢獻曲率(對輸入進行求導,b是直接約掉的)。

**本人知乎回答:

參考:

盤盈的存貨一般應作為什麼處理

企業進行存貨清查盤點,應當編制 存貨盤存報告單 並將其作為存貨清查的原始憑證。經過存貨盤存記錄的實存數與存貨的賬面記錄核對,若賬面存貨小於實際存貨,為存貨的盤盈 反之,為存貨的盤虧。對於盤盈 盤虧的存貨要記入 待處理財產損溢 科目,查明原因進行處理。企業在財產清查中盤盈的存貨,根據 存貨盤存報告單 ...

一般人為什麼不成功? 陳安之

一般人為什麼不成功?陳安之 在研究如何成功致富之前,我們一定要了解,一般人為什麼會失敗。一般人都在研究成功者如何成功時,卻從來沒有思考過失敗者為何失敗,所以也就沒有避免失敗者所犯的錯誤。我以前每天都在研究成功者如何成功,卻從未研究失敗者如何失敗。失敗是成功之母,檢討是成功之父。我發現,如果你沒做成功...

一般人為什麼不成功? 陳安之

一般人為什麼不成功?陳安之 在研究如何成功致富之前,我們一定要了解,一般人為什麼會失敗。一般人都在研究成功者如何成功時,卻從來沒有思考過失敗者為何失敗,所以也就沒有避免失敗者所犯的錯誤。我以前每天都在研究成功者如何成功,卻從未研究失敗者如何失敗。失敗是成功之母,檢討是成功之父。我發現,如果你沒做成功...