深度學習視覺專案工程實現步驟
設計資料集
注意問題：類別不均衡
目標小噪音干擾大
遮擋目標類間距離大
選擇優化器
注意問題：使用那種優化器
sgd+momentum
adam
rmsprop
adablta
模型整合
資料增強
隨機初始化權值改為固定值
多個預訓練模型得到結果投票最高分
模型量化
剪枝和量化
剪枝具體流程
network
|evaluate importance of neurons
|remove the least important neuron
|fine-turning
|continue pruning
|evaluate importance of neurons
|stop pruning
方法一：刪除網路中貢獻度低下的神經元
根據神經元權值的l1/l2均值進行平均啟用
在驗證集合上神經元不為零的次數及其他創造性方法來排序實現壓縮模型
方法二：放棄某些卷積濾波器。
針對每個神經元進行排序然後使用每個濾波器權值的l1範數找到全部最低
排名濾波器刪除後重複訓練。
計算機視覺 mini深度學習框架實現
手動實現mini深度學習框架，主要精力不放在運算優化上，僅體會原理。位址見 minideepframe tensorflow 卷積層 池化層詳解 科學計算 全連線層 均方誤差 啟用函式實現 layer.py層 class，已實現 全連線層，卷積層，平均池化層 loss.py損失函式 class，已實...
學習筆記 深度學習和機器視覺
一直自稱研究方向是 機器視覺 機器學習和深度學習 然而除了做過幾個相關的專案以外，感覺自己對這個領域並沒有足夠深入的認識和理解。趁著這個假期我要好好補補課了。今天先來看一些high level的內容，看看深度學習近期的最近進展以及其在機器視覺問題中的應用。學習資料 於2015年cvpr的deep l...
深度學習視覺常用資料集
1.深度學習資料集收集 收集大量的各深度學習相關的資料集，但並不是所有開源的資料集都能在上面找到相關資訊。2 tiny images dataset 包含8000萬的32 32影象，cifar 10和cifar 100便是從中挑選的。3 cophir 雅虎發布的超大flickr資料集，包含1億多張。...