梯度下降是迭代法的一種,可以用於求解最小二乘問題(線性和非線性都可以)。在求解機器學習演算法的模型引數，即無約束優化問題時，梯度下降（gradient descent）是最常採用的方法之一，另一種常用的方法是最小二乘法。在求解損失函式的最小值時，可以通過梯度下降法來一步步的迭代求解，得到最小化的損失函式和模型引數值。反過來，如果我們需要求解損失函式的最大值，這時就需要用梯度上公升法來迭代了。在機器學習中，基於基本的梯度下降法發展了兩種梯度下降方法，分別為隨機梯度下降法和批量梯度下降法。
梯度：對於可微的數量場f(x,y,z)，以
為分量的向量場稱為f的梯度或斜量。
梯度下降法(gradient descent)是乙個最優化演算法，常用於機器學習和人工智慧當中用來遞迴性地逼近最小偏差模型
機器「學習」的工作原理，類似一道微積分習題
介紹梯度下降的思想，不僅是神經網路學習的基礎，機器學習中很多其他技術也是基於這個方法。
從概念上講，認為每個神經元與上一層的所有神經元相連線，決定其啟用值的加權值和中的權重，有點像是那些連線的強弱，而偏置則表明神經元是否更容易被啟用，在一開始，我們會完全隨機地初始化所有的權重和偏置值。
代價函式的需要
用更加數學的語言來說，將每個垃圾輸出啟用值，與你想要的值之間的差的平方加起來，稱之為訓練單個樣本的「代價」，（注意下，網路能對影象進行正確的分類時，這個平分和就比較小，如果網路找不著點，這個平分和就很大），代價函式取決於網路對於上萬個訓練資料的綜合表現
代價平均值也叫empirical risk"經驗風險「
只告訴電腦它有多糟糕不是很有用的，還需要告訴它，怎麼改變這些權重和偏置值。
為了簡化問題 先不想乙個有13000個變數的函式，而先考慮簡單的一元函式，只有乙個輸入變數，只輸出乙個數字
要怎麼找輸入值x，使得函式值最小化呢，可以通過微積分，直接算出這個最小值
但函式很複雜的話，就不一定能寫出來。如
還有乙個更靈巧的技巧是先隨便挑乙個輸入值，然後考慮向左還是向右走，函式值才會變小，若找到這裡的函式斜率，斜率為正，就向左，斜率為負，就向右走，在每乙個點上都這樣重複，計算新斜率，再適當地走一小步，就會逼近函式的某個區域性最小值（注意，就算很簡單的一元函式，由於不知道一開始輸入值在**，最後你可能會落到許多不同的坑里，且無法保證你落到的區域性最小值就是代價函式可能達到的全域性最小值。
如果每步的大小和斜率成比例，那麼在最小值附近斜率會越來越平緩，每步會越來越小，這樣可以防止調過頭。
多元微積分，函式的梯度指出了函式的最陡增長方向，就是說，按梯度的方向走，函式值增長的就最快，那沿梯度的負方向，函式值自然就降低的最快，
其實不過是先計算梯度，再按梯度反方向走一小步下山，然後迴圈，處理帶13000個輸入函式也是乙個道理
反向傳播演算法[bp]
提到讓網路學習，實質上就是讓代價函式的值最小，為了達到這個結果，代價函式有必要平滑的，這樣才能每次挪一點點，最後找到乙個區域性最小值。
也順便解釋了，為什麼人工神經元的啟用值是連續的，而非直接沿襲生物學神經元那種二元式的。
按照負梯度的倍數，不停調整函式輸入值的過程，就叫做梯度下降法。
1.改變了那些權重，影響力最大，2.當你隨機初始化權重和偏置，通過梯度下降法調整引數
梯度下降法和隨機梯度下降法
批量梯度下降法 batch gradient descent 在更新引數時使用所有的樣本來進行更新 隨機梯度下降法 stochastic gradient descent 求梯度時沒有用所有的m個樣本的資料，而是僅僅選取乙個樣本j來求梯度。小批量梯度下降法 mini batch gradient d...
梯度下降法
梯度下降法 是乙個一階 最優化演算法 通常也稱為 最速下降法 我之前也沒有關注過這類演算法。最近，聽史丹福大學的機器學習課程時，碰到了用梯度下降演算法求解線性回歸問題，於是看了看這類演算法的思想。今天只寫了一些入門級的知識。我們知道，函式的曲線如下 程式設計實現 c code cpp view pl...
梯度下降法
回歸 regression 梯度下降 gradient descent 發表於332 天前 技術,科研 被圍觀 1152 次 前言 這個系列主要想能夠用數學去描述機器學習，想要學好機器學習，首先得去理解其中的數學意義，不一定要到能夠輕鬆自如的推導中間的公式，不過至少得認識這些 式子吧，不然看一些相關...