神經網路正則化方法

2021-08-27 20:31:02 字數 3109 閱讀 5663

在訓練資料不夠多時,或者overtraining時,常常會導致overfitting(過擬合)。其直觀的表現如下圖所示,隨著訓練過程的進行,模型複雜度增加,在training data上的error漸漸減小,但是在驗證集上的error卻反而漸漸增大——因為訓練出來的網路過擬合了訓練集,對訓練集外的資料卻不work。

為了防止overfitting,可以用的方法有很多,下文就將以此展開。有乙個概念需要先說明,在機器學習演算法中,我們常常將原始資料集分為三部分:training data、validation data,testing data。這個validation data是什麼?它其實就是用來避免過擬合的,在訓練過程中,我們通常用它來確定一些超引數(比如根據validation data上的accuracy來確定early stopping的epoch大小、根據validation data確定learning rate等等)。那為啥不直接在testing data上做這些呢?因為如果在testing data做這些,那麼隨著訓練的進行,我們的網路實際上就是在一點一點地overfitting我們的testing data,導致最後得到的testing accuracy沒有任何參考意義。因此,training data的作用是計算梯度更新權重,validation data如上所述,testing data則給出乙個accuracy以判斷網路的好壞。

避免過擬合的方法有很多:early stopping、資料集擴增(data augmentation)、正則化(regularization)包括l1、l2(l2 regularization也叫weight decay),dropout。

c0代表原始的代價函式,後面那一項就是l2正則化項,它是這樣來的:所有引數w的平方的和,除以訓練集的樣本大小n。λ就是正則項係數,權衡正則項與c0項的比重。另外還有乙個係數1/2,1/2經常會看到,主要是為了後面求導的結果方便,後面那一項求導會產生乙個2,與1/2相乘剛好湊整。

l2正則化項是怎麼避免overfitting的呢?我們推導一下看看,先求導:

可以發現l2正則化項對b的更新沒有影響,但是對於w的更新有影響:

在不使用l2正則化時,求導結果中w前係數為1,現在w前面係數為 1−ηλ/n ,因為η、λ、n都是正的,所以 1−ηλ/n小於1,它的效果是減小w,這也就是權重衰減(weight decay)的由來。當然考慮到後面的導數項,w最終的值可能增大也可能減小。

另外,需要提一下,對於基於mini-batch的隨機梯度下降,w和b更新的公式跟上面給出的有點不同:

對比上面w的更新公式,可以發現後面那一項變了,變成所有導數加和,乘以η再除以m,m是乙個mini-batch中樣本的個數。

到目前為止,我們只是解釋了l2正則化項有讓w「變小」的效果,但是還沒解釋為什麼w「變小」可以防止overfitting?乙個所謂「顯而易見」的解釋就是:更小的權值w,從某種意義上說,表示網路的複雜度更低,對資料的擬合剛剛好(這個法則也叫做奧卡姆剃刀),而在實際應用中,也驗證了這一點,l2正則化的效果往往好於未經正則化的效果。當然,對於很多人(包括我)來說,這個解釋似乎不那麼顯而易見,所以這裡新增乙個稍微數學一點的解釋(引自知乎):

過擬合的時候,擬合函式的係數往往非常大,為什麼?如下圖所示,過擬合,就是擬合函式需要顧忌每乙個點,最終形成的擬合函式波動很大。在某些很小的區間裡,函式值的變化很劇烈。這就意味著函式在某些小區間裡的導數值(絕對值)非常大,由於自變數值可大可小,所以只有係數足夠大,才能保證導數值很大。

而正則化是通過約束引數的範數使其不要太大,所以可以在一定程度上減少過擬合情況。

在原始的代價函式後面加上乙個l1正則化項,即所有權重w的絕對值的和,乘以λ/n(這裡不像l2正則化項那樣,需要再乘以1/2,具體原因上面已經說過。)

同樣先計算導數:

上式中sgn(w)表示w的符號。那麼權重w的更新規則為:

比原始的更新規則多出了η * λ * sgn(w)/n這一項。當w為正時,更新後的w變小。當w為負時,更新後的w變大——因此它的效果就是讓w往0靠,使網路中的權重盡可能為0,也就相當於減小了網路複雜度,防止過擬合。

另外,上面沒有提到乙個問題,當w為0時怎麼辦?當w等於0時,|w|是不可導的,所以我們只能按照原始的未經正則化的方法去更新w,這就相當於去掉η*λ*sgn(w)/n這一項,所以我們可以規定sgn(0)=0,這樣就把w=0的情況也統一進來了。(在程式設計的時候,令sgn(0)=0,sgn(w>0)=1,sgn(w<0)=-1)

l1、l2正則化是通過修改代價函式來實現的,而dropout則是通過修改神經網路本身來實現的,它是在訓練網路時用的一種技巧(trike)。它的流程如下:

假設我們要訓練上圖這個網路,在訓練開始時,我們隨機地「刪除」一半的隱層單元,視它們為不存在,得到如下的網路:

保持輸入輸出層不變,按照bp演算法更新上圖神經網路中的權值(虛線連線的單元不更新,因為它們被「臨時刪除」了)。

以上就是一次迭代的過程,在第二次迭代中,也用同樣的方法,只不過這次刪除的那一半隱層單元,跟上一次刪除掉的肯定是不一樣的,因為我們每一次迭代都是「隨機」地去刪掉一半。第三次、第四次……都是這樣,直至訓練結束。

以上就是dropout,它為什麼有助於防止過擬合呢?可以簡單地這樣解釋,運用了dropout的訓練過程,相當於訓練了很多個只有半數隱層單元的神經網路(後面簡稱為「半數網路」),每乙個這樣的半數網路,都可以給出乙個分類結果,這些結果有的是正確的,有的是錯誤的。隨著訓練的進行,大部分半數網路都可以給出正確的分類結果,那麼少數的錯誤分類結果就不會對最終結果造成大的影響。

更加深入地理解,可以看看hinton和alex兩牛2012的**《imagenet classification with deep convolutional neural networks》

「有時候不是因為演算法好贏了,而是因為擁有更多的資料才贏了。」

不記得原話是哪位大牛說的了,hinton?從中可見訓練資料有多麼重要,特別是在深度學習方法中,更多的訓練資料,意味著可以用更深的網路,訓練出更好的模型。

既然這樣,收集更多的資料不就行啦?如果能夠收集更多可以用的資料,當然好。但是很多時候,收集更多的資料意味著需要耗費更多的人力物力,有弄過人工標註的同學就知道,效率特別低,簡直是粗活。

用50000個mnist的樣本訓練svm得出的accuracy94.48%,用5000個mnist的樣本訓練nn得出accuracy為93.24%,所以更多的資料可以使演算法表現得更好。在機器學習中,演算法本身並不能決出勝負,不能武斷地說這些演算法誰優誰劣,因為資料對演算法效能的影響很大。

參考文獻:

神經網路的正則化

神經網路的vc dimension的值與神經元的個數以及權重的個數有關。所以個數越多,神經網路模型越強大越複雜。相應的就有可能出現過擬合的現象。那麼如何預防過擬合呢,有兩種方法。正則化項,這是最常見的方法,不同的是,神經網路用梯度下降法優化權重,所以需要損失函式是可導得,如果使用l1正則化項,就不可...

深度神經網路正則化

在深層網路學習中,為了防止過擬合問題,正則化是個有效措施。以下是用tensorflow搭建的小例子,配合tensorboard。import tensorflow as tf import os os.environ tf cpp min log level 2 cpu加速 def get weig...

BP神經網路(七) 正則化

正則化用來處理過擬合的問題,神經網路的過擬合現象一般都會遇到,解決辦法其中乙個是正則化,另乙個是準備更多的資料。第二種方法不可能的情況下,正則化可以有效解決過擬合。一般選擇l2正則化 對w進行處理,正則化的代價函式需要在後面加上正則項為 其中除l2正則化外,還存在dropout正則化,dropout...