理解DeepL中的引數懲罰(penalty)

2022-10-09 21:57:31 字數 1052 閱讀 4793

penalty機制中有l2範數的penalty,它長這個樣子:

e是指一次前向計算, 輸入與輸出之間的 誤差。後面的一部分就是l2 penalty。

現在讓我們來看看c對某個引數wi求導的結果:

如果我們更新梯度的話:

從上面的乙個式子我們可以看出,w若越大,那麼w衰減越厲害。(梯度始終為正數)

下面來說說為什麼w不能很大:

w越大,模型就會越激進,它會不遺餘力的去擬合訓練集,所以會學習到一些對**沒用的東西。

激進的模型          中庸的模型            擺爛的模型

weight decay in neural networks - programmathically

最優化中的懲罰函式

講到懲罰函式,首先要提到約束問題,所謂的約束問題就是在一定的約束條件下,求得問題的最優解 例如 min f x s.t.gi x 0,hj x 0 i 1,m,j 1,2,l。其中s.t.是subject to的縮寫,即服從,滿足的意思。這類問題的可行解法是梯度下降演算法,或者是序列無約束優化方法 ...

DeepFM 中引數的理解

上圖為sparse feature 層到 dense embedding 層的神經元連線示意圖。1 每個圓點代表乙個神經元,神經元本身是沒有數值的,我們需要知道的是sparse feature 到 embedding 層之間連線的權重,這個權重就是所謂的embedding vector。2 一共有m...

select函式中引數nfds的理解

函式原型 include include include int select int nfds,fd set readfds,fd set writefds,fd set exceptfds,struct timeval timeout void fd clr int fd,fd set set ...