理解1：假設網路是:y=wx, 其中w就是乙個數，再具體比如是：x， 其中w=1
而目標函式是 w=0.75, y=0.75x
那麼樣本是(2,1.5), 網路**值是：wx=x=2， 即(2, 2)。那麼損失函式是
e對w求偏倒
網路學習目標是predict線向target線靠近，即w 要減小，那麼w-學習率 *(損失函式對w偏導數) = 1 - 0.1*1=0.9,正在想目標斜率0.75靠近, 這裡如果換成加，那麼w就變大了，從而遠離目標直線了。
反過來下圖中predict線變成target, target線變成predict,那麼樣本點是(2, 2), **的點是(2, 1.5), y=0.75x, 從而e=0.25, 對w求偏導數是-1， 那麼 w-學習率 *(損失函式對w偏導數)=0.75-0.1*(-1)=0.85, 如果變成加，同樣的，網路直線就遠離target直線了。
思路2：分析損失函式出發
給定x0,y0, w為變數， e是乙個拋物線，開口向上，最小值大於等於0， 那麼右側有乙個w, 此處的偏導即為改點斜率，從而，e極小值對應
看上面拋物線，能看出來，e在w軸正方向同向平行，w在向使得最小化損失函式點梯度方向的反方向移動，所以最終神經網路將學習到使得損失函式最小的權值。
如何直觀形象地理解方向導數與梯度以及它們之間的關係？ - 張健煒的回答 - 知乎
神經網路基礎
上面是前14個筆記的乙個示意圖，簡單了點，但是內容架構應該是有的，先容我再道一道，梳理下 首先整體的第一周的課程是神經 網路 對，通向神經網路的基礎的網路，其中講解了內容模組包括 二分類問題簡單來說就是1和0的問題，也就是著名的cat 和 noncat問題，這個處理是靠輸入，然後計算機整合處理矩陣輸...
神經網路基礎
3.梯度下降 4.反向傳播 由線性分類 看基礎概念 邏輯回歸 線性回歸 只有一套引數，行為 是一套引數對某樣本的 值進行分類，線性分類 是由n套引數 結果有n個種類 行為 是分別對某樣本給出不同類別下的得分 使用softmax分類器後是概率 基礎損失函式 從某樣本在各類的的得分情況看損失 當正確的種...
神經網路基礎與人工神經網路
神經網路方面的研究很早就已出現，今天 神經網路 已是乙個相當大的 多學科交叉的學科領域。神經網路中最基本的成分是神經元模型。上圖中每個圓圈都是乙個神經元，每條線表示神經元之間的連線。我們可以看到，上面的神經元被分成了多層，層與層之間的神經元有連線，而層內之間的神經元沒有連線。為了理解神經網路，我們應...