使用反向傳播演算法和梯度下降演算法調整神經
網路中引數的取值。
神經網路的優化過程分為兩個階段
1.1第一階段：
先通過前向傳播演算法計算得到**值，並將**值和真實值做對比得出兩者之間的差距。
1.2第二階段：
通過反向傳播演算法計算損失函式對每乙個引數的梯度，再根據梯度和學習率使用梯度下降演算法更新每乙個引數。
主要用於優化單個引數的取值,
損失函式j（theta）公式如下：
\theta_=\theta_n -\eta\fracj(\theta_n)缺點受初始值的設定的影響,不一定能達到全域性最優。
計算全部資料的損失，計算時間太長。
在每一輪迭代中隨機優化某一條訓練資料上的損失函式。
缺點某一條訓練資料上的更小，不能代表在全部資料上損失函式更小。甚至無法達到區域性最優。
折中的方法是每次使用有個batch給出了乙個高效的方式在所有引數上使用梯度下降演算法，從而使得神經網路模型在訓練資料上的損失函式盡可能小。反向傳播演算法是訓練神經網路的核心演算法。
神經網路優化（一）
一 損失函式 loss 前向傳播的 值y與已知答案y 的差距 1.優化目標 使loss達到最小值。2.優化方法 均方誤差 mse 交叉熵 ce 自定義詳解 1.均方誤差mse 公式 函式 loss mse tf.reduce mean tf.square y y tf.reduce mean x 表...
神經網路優化
import tensorflow as tf from tensorflow.examples.tutorials.mnist import input data 載入資料集 mnist input data.read data sets mnist data one hot true 每個批次的...
神經網路優化器
神經網路陷阱 1 區域性極小值 優化器極易陷入區域性極小值從而無法找到全域性最優解。2 鞍點 當成本函式值幾乎不再變化時，就會形成平原 plateau 在這些點上，任何方向的梯度都幾乎為零，使得函式無法逃離該區域。梯度下降 公式如下 超引數 表示學習率，代表演算法每次迭代過程的前進步長。學習率的選擇...