caffe solver引數設定

2021-09-27 04:14:01 字數 1293 閱讀 6715

solver檔案設定是通過協調網路的正向推理和反向梯度來協調模型優化,得到試圖改善損失的的引數。學習的職責被分配給負責監督優化和生成引數更新的solver,以及負責生成損失和梯度的網路。

caffe有六種優化器

net: "models/bvlc_googlenet/train_val.prototxt" #訓練網路模型

test_iter: 1000   #測試資料分1000批進行

test_interval: 4000 #每訓練4000步測試一次

test_initialization: false #是否是從頭訓練,false:沿用上一次訓練引數模型

base_lr: 0.01     # 基礎學習率

lr_policy: "step" # 每迭代stepsize次,下調學習率

gamma: 0.1       #下掉學習率的比例,每次下降10%

stepsize: 100000  # 每迭代100000步,調整學習率

max_iter: 350000  # 總共訓練350000步

momentum: 0.9 #剔除10%的引數,對過擬合有一定效果

snapshot: 40000 #迭代40000步儲存一次訓練引數模型

snapshot_prefix #儲存訓練引數模型位址

solver_mode: gpu #訓練模式:gpu 或 cpu

lr_policy:

lr_policy: 如下7種設定

//    - fixed: 學習率不變

//    - step:  base_lr * gamma ^ (floor(iter / step))

//    - exp:   base_lr * gamma ^ iter

//    - inv:    base_lr * (1 + gamma * iter) ^ (- power)

//    - multistep: 類似於step,需要設定stepvalue

//                       例如stepvalue: 1000 stepvalue: 2000 stepvalue: 3000

//    - poly:   base_lr (1 - iter/max_iter) ^ (power)

//    - sigmoid: base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))

對於lr_policy不同設定下learning_rate的圖形變化可以看這篇部落格:

caffe solver引數意義與設定

batchsize 每迭代一次,網路訓練的數量,例如 如果你的batchsize 256,則你的網路每迭代一次,訓練256張 則,如果你的總張數為1280000張,則要想將你所有的通過網路訓練一次,則需要1280000 256 5000次迭代。epoch 表示將所有在你的網路中訓練一次所需要的迭代次...

引數設定 pandas引數設定小技巧

python大資料分析記錄 分享 成長 在日常使用pandas的過程中,由於我們所分析的資料表規模 格式上的差異,使得同樣的函式或方法作用在不同資料上的效果存在差異。而pandas有著自己的一套 引數設定系統 可以幫助我們在遇到不同的資料時靈活調節從而達到最好的效果,本文就將介紹pandas中常用的...

Matlab plot 引數設定

一 matlab繪圖中用到的直線屬性包括 1 linestyle 線形 2 linewidth 線寬 3 color 顏色 4 markertype 標記點的形狀 5 markersize 標記點的大小 6 marke cecolor 標記點內部的填充顏色 7 markeredgecolor 標記點...