△c<=0，所以c不斷減小
所以v的變化：
再來回顧一下目標函式：
是平均的cost
現在我們套用剛才得到的方程，可以得到權重和偏向更新方程：
對於每個訓練例項x，都要計算梯度向量gradient vector，如果訓練資料集過大，我們要花費很長時間去更新，學習過程太慢，所以，乙個變種為：
隨機梯度下降演算法（stochastic gradient descent）：
基本思想：從所有訓練例項中取乙個小的取樣（sample）：x1，x2，…,xm(mini-batch)來估計gradient vector，大大提高學習速度
舉例：選舉調查
如果樣本足夠大：
代入更新方程：
然後，重新選擇乙個mini-batch用來訓練，直到用完所有的訓練例項，一輪epoch完成
深度學習入門課程學習筆記03 損失函式
損失函式 在前面一節咱們介紹了得分函式，就是給定乙個輸入，對於所有類別都要給出這個輸入屬於該類別的乙個分值，如上圖所示，對於每乙個輸入咱們都有了它屬於三個類別的得分，但是咱們光有這個得分卻不知道如何來評判現在的乙個分類效果，這節課咱們就要用損失函式來評估分類效果的好壞，而且不光是好壞還要表現出來有多...
深度學習入門課程筆記03 損失函式
損失函式 在前面一節咱們介紹了得分函式，就是給定乙個輸入，對於所有類別都要給出這個輸入屬於該類別的乙個分值，如上圖所示，對於每乙個輸入咱們都有了它屬於三個類別的得分，但是咱們光有這個得分卻不知道如何來評判現在的乙個分類效果，這節課咱們就要用損失函式來評估分類效果的好壞，而且不光是好壞還要表現出來有多...
Pytorch 深度學習 Day03 梯度下降
對於目標函式 f x 如果 f x 在 x 上的值比在 x 鄰近的其他點的值更小，那麼 f x 可能是乙個區域性最小值 local minimum 如果 f x 在 x 上的值是目標函式在整個定義域上的最小值，那麼 f x 是全域性最小值 global minimum 深度學習模型的目標函式可能有若...