solver通過協調前向通道結果和反向通道導數來形成引數更新以控制模型優化。學習的任務由solver和net承擔，solver負責監督優化和形成引數更新；net負責產生loss和gradient。
caffe solver有以下幾種：
隨機梯度下降法（stochastic gradient descent,sgd）
adadelta
自適應梯度法（adaptive gradient, adagrad）
adam
nesterov加速梯度法（nesterov』s accelerated gradient,nag）
rmsprop
求解器:
1，構建起了優化過程的記錄，並建立了訓練網路用來學習和訓練網路模型
2，通過呼叫前向和反向通道方法迭代地優化和更新引數
3，間歇性地評估測試網路
4，在優化過程中對模型和求解器狀態進行快照
求解器在每次迭代過程中要進行：
1，呼叫網路的前向通道來計算輸出和損失函式
2，呼叫反向通道來計算梯度
3，根據求解器方法，將梯度轉化為引數的更新
4，根據學習速率，歷史和所用方法更新求解器狀態
求解器方法就是求損失函式的全域性最小值的方法。對於資料集d，最優化的目標是對於全資料集，損失函式平均值最小。
未完待續……
Caffe的solver引數介紹
solver.prototxt檔案是用來告訴caffe如何訓練網路的。solver.prototxt的各個引數的解釋如下 2.demo lr policy lr policy為multisetp base lr 0.01 momentum 0.9 lr policy multistep gamma ...
Caffe中求解器（Solver）介紹
求解器負責對模型優化，目的是使損失函式達到全域性最小。其類中包含乙個net的指標，主要是實現了訓練模型引數所採用的優化演算法，其派生類就可以對整個網路進行訓練。不同的模型訓練方法通過過載函式computeupdatevalue 實現計算update引數的核心功能。在進行整個網路訓練過程 即執行caf...
caffe的solver檔案引數詳解
solver檔案引數 test interval，test iter，max iter的區別 test interval 938 60000 64，測試間隔引數 訓練完一次所有的，進行一次測試 測試間隔就是完成一次完整的train需要的次數，train example train batch siz...