滑動平均變數只在測試過程中使用
滑動平均變數作為實際引數變數的影子變數，在訓練過程中對神經網路邊的實際權重引數 weights 使用滑動平均，得到對應的影子變數 shadow_weights。但在計算交叉熵的損失函式時，仍利用未進行滑動平滑的權重引數 weights的結果 。
在訓練過程仍然使用原來不帶滑動平均的權重 weights，不然無法得到 weights 下一步更新的值，又怎麼求下一步 weights 的影子變數 shadow_weights。之後在測試過程中使用 shadow_weights 來代替 weights 作為神經網路邊的權重，這樣在測試資料上效果更好。因為 shadow_weights 的更新更加平滑，對於隨機梯度下降而言，更平滑的更新說明不會偏離最優點很遠。
滑動平均變數在訓練過程中產生，在測試過程中使用。訓練過程的前向傳播過程用原始變數，測試過程的前向傳播過程用相應的滑動平均變數。
滑動平均的詳細介紹：
神經網路在分類中的應用
我們知道，邏輯回歸可以用來分類，但僅僅是對於特徵量很少時，當特徵量特別多時，就不適用了，所以引入了神經網路。宣告一下，當類別數c 3時，輸出層有c個結點，否則只用乙個結點就可以了 啟用函式就是非線性函式比如sigmoid relu等。1.神經網路 神經網路的代價函式 具體推導公式參考 2.梯度檢測 ...
5 2 神經網路演算法應用
關於非線性轉化方程 non linear transformation function sigmoid函式 s 曲線 用來作為activation function 1.1 雙曲函式 tanh 1.2 邏輯函式 logistic function 實現乙個簡單的神經網路演算法 neuralnetw...
迴圈神經網路應用舉例
現在，我們介紹一下基於rnn語言模型。我們首先把詞依次輸入到迴圈神經網路中，每輸入乙個詞，迴圈神經網路就輸出截止到目前為止，下乙個最可能的詞。例如，當我們依次輸入 我 昨天 上學 遲到 了 神經網路的輸出如下圖所示 其中，s和e是兩個特殊的詞，分別表示乙個序列的開始和結束。我們知道，神經網路的輸入和...