神經網路的vc dimension的值與神經元的個數以及權重的個數有關。所以個數越多，神經網路模型越強大越複雜。相應的就有可能出現過擬合的現象。
那麼如何預防過擬合呢，有兩種方法。
正則化項，這是最常見的方法，不同的是，神經網路用梯度下降法優化權重，所以需要損失函式是可導得，如果使用l1正則化項，就不可導了。
那麼l2正則化項呢，我們知道l2正則化項不能讓權重等於零，這樣就沒有降低權重的個數。
所以我們對l2正則化項進行修改。
early stoping , 就是在梯度下降的過程中盡早的停止，防止過擬合的發生。那麼在第幾輪的時候停止呢，這就需要validation了。
那還要初始化權重的事兒。
不同的權重初始化會造成不同的e_in, 所以我們可以隨機的初始化權重值，初始化權重的值應該較小，並且多試幾次。
深度神經網路正則化
在深層網路學習中，為了防止過擬合問題，正則化是個有效措施。以下是用tensorflow搭建的小例子，配合tensorboard。import tensorflow as tf import os os.environ tf cpp min log level 2 cpu加速 def get weig...
神經網路正則化方法
在訓練資料不夠多時，或者overtraining時，常常會導致overfitting 過擬合 其直觀的表現如下圖所示，隨著訓練過程的進行，模型複雜度增加，在training data上的error漸漸減小，但是在驗證集上的error卻反而漸漸增大 因為訓練出來的網路過擬合了訓練集，對訓練集外的資料卻...
BP神經網路（七） 正則化
正則化用來處理過擬合的問題，神經網路的過擬合現象一般都會遇到，解決辦法其中乙個是正則化，另乙個是準備更多的資料。第二種方法不可能的情況下，正則化可以有效解決過擬合。一般選擇l2正則化 對w進行處理，正則化的代價函式需要在後面加上正則項為 其中除l2正則化外，還存在dropout正則化，dropout...