有批量梯度下降法（batch gradient descent，bgd）和 隨機梯度下降（stochastic gradient descent，sgd）
牛頓法是一種在實數域和複數域上近似求解方程的方法。特點是收斂速度很快。
擬牛頓法是求解非線性優化問題最有效的方法之一，常用的擬牛頓法有dfp演算法和bfgs演算法。
共軛梯度法可以用於求解無約束的最優化問題。共軛梯度法是乙個迭代方法，它適用於係數矩陣為稀疏矩陣的線性方程組。
優點是所需儲存量小，具有步收斂性，穩定性高，而且不需要任何外來引數
機器學習中常見的最優化演算法
常見的最優化方法有梯度下降法 牛頓法和擬牛頓法 共軛梯度法等等。梯度下降法實現簡單，當目標函式是凸函式時，梯度下降法的解是全域性解。一般情況下，其解不保證是全域性最優解，梯度下降法的速度也未必是最快的。梯度下降法的優化思想是用當前位置負梯度方向作為搜尋方向，因為該方向為當前位置的最快下降方向，所以也...
深度學習中常見問題
1.cai之前遇到乙個事情就是 無論輸入的是什麼,結果都是一樣的,並且同乙個生成的多個框的類別也都是一樣的 錯誤原因 test的網路沒有進行caffemodel的初始化 之前在實驗室跑deeplab 也出現過類似問題,因為test的prototxt中有一層的名字和caffemodel中的不一樣,導致...
深度學習中常見的啟用函式
下面分別進行介紹。1.sigmoid函式 s型增長函式 sigmoid函式能夠將取值為 infty,infty 的數對映到 0,1 公式和圖形如下 s x frac sigmoid函式作為非線性啟用函式卻不被經常使用，具有以下幾個缺點 1.當x非常大或者非常小的時候，sigmoid函式的導數將接近0...