caffe中solver不同優化器的一些使用方法(只記錄一些常用的)
下面是一些公用的引數
測試時需要前向傳播的次數,比如你有1000個資料,批處理大小為10,那麼這個值就應該是100,這樣才能夠將所有的資料覆蓋
test_iter: 100
每多少次迭代進行一次測試.
test_interval: 500
weight_decay防止過擬合的引數,使用方式:
1 樣本越多,該值越小
2 模型引數越多,該值越大
weight_decay: 0.0005
rmsprop:
net: "examples/mnist/lenet_train_test.prototxt"
test_iter: 100
test_interval: 500
#the base learning rate, momentum and the weight decay of the network.
base_lr: 0.01
momentum: 0.0
weight_decay: 0.0005
#the learning rate policy
lr_policy: "inv"
gamma: 0.0001
power: 0.75
display: 100
max_iter: 10000
snapshot: 5000
snapshot_prefix: "examples/mnist/lenet_rmsprop"
solver_mode: gpu
type: "rmsprop"
rms_decay: 0.98
adam:
net: "examples/mnist/lenet_train_test.prototxt"
test_iter: 100
test_interval: 500
#all parameters are from the cited ***** above
base_lr: 0.001
momentum: 0.9
momentum2: 0.999
#since adam dynamically changes the learning rate, we set the base learning
#rate to a fixed value
lr_policy: "fixed"
display: 100
#the maximum number of iterations
max_iter: 10000
snapshot: 5000
snapshot_prefix: "examples/mnist/lenet"
type: "adam"
solver_mode: gpu
multistep:
net: "examples/mnist/lenet_train_test.prototxt"
test_iter: 100
test_interval: 500
#the base learning rate, momentum and the weight decay of the network.
base_lr: 0.01
momentum: 0.9
weight_decay: 0.0005
#the learning rate policy
lr_policy: "multistep"
gamma: 0.9
stepvalue: 5000
stepvalue: 7000
stepvalue: 8000
stepvalue: 9000
stepvalue: 9500
# display every 100 iterations
display: 100
#the maximum number of iterations
max_iter: 10000
#snapshot intermediate results
snapshot: 5000
snapshot_prefix: "examples/mnist/lenet_multistep"
#solver mode: cpu or gpu
solver_mode: gpu
caffe中常見層的用法以及引數
caffe中常見的一些層的用法，和引數配置 官方文件 1.reshape改變輸入資料的維度 常見配置如下 layer 輸入和輸出都是類似blob的四維張量，n c w h 通過reshape param中的shape引數改變張量的維度四個dim分別代表output top 中的資料維度，後面的數字表...
常見4種容器使用總結
列表字典 元組集合 型別名list dict tuple set容器標誌 元素1,元素2,元素1,元素2,容器的特點 可變 有序 可變 無序 不可變 有序 可變 無序 增刪改查 1.增 字典 key 值 setdefault 2.刪 del pop 3.改 字典 key 值 4.查 字典 key g...
ceres優化器使用方法（自用）
詳見vins 本內容供自己查閱使用 1.構建factor,繼承costfunction或者sizecostfunction函式，在evaluate形參中傳遞要優化的引數parameters,需要計算的參差residuals和jacobians，然後就是計算參差和雅克比矩陣。2.構建ceres pro...