深度學習 日常小點積累

2021-09-24 17:52:35 字數 798 閱讀 4183

描述:比如將乙個3乘3的卷積換為乙個3乘1的卷積+乙個1乘3的卷積。

特點:減少參數量

在哪見到

」學習factorization into small convolutions的思想,將乙個二維卷積拆分成兩個較小卷積,例如將7*7卷積拆成1*7卷積和7*1卷積。這樣做的好處是降低參數量。*****中指出,通過這種非對稱的卷積拆分,比對稱的拆分為幾個相同的卷積效果更好,可以處理更多,更豐富的空間特徵。「

聯想用途

3d影象處理

描述:訓練

特點

關聯:

1. **adabatch: adaptive batch sizes for training deep neural networks

訓練框架:tensorflow、pytorch、keras、caffe、mxnet等

動態圖框架:pytorch

靜態圖框架:tensorflow、caffe

在cs231n的課件中有介紹動態、靜態圖的區別

轉置卷積:可用於上菜樣;可改變填充和步長得到不同輸出尺寸

擴張卷積:擴張率;增大感受野

可分離卷積(空間、深度可分離):空間可分——3×3分成3×1和1×3;深度可分——3×3分成dw3×3和1×1

分組卷積:輸入通道和卷積核都在分;訓練很大的網路時效果較好

日常積累C

預設建構函式準確來說就是在呼叫時不需要傳入形參的建構函式。c 11 在原有提供預設建構函式 賦值建構函式 複製賦值運算子和析構函式的基礎上增加移動建構函式和移動複製運算子。預設建構函式原型 someclass someclass const someclass 移動建構函式原型 someclass ...

opencv學習的日常積累(2)

6 計算輪廓的周長,刪除輪廓 int arclength contours i ture ture是閉合,false是開的 itr contours.erase itr 7 幾個常用函式的區別 pow double x,double y 返回值為double powf double x,double...

深度學習問題積累中。。。

為什麼用交叉熵代替二次代價函式 感覺其實主要就兩點 深層表示帶來的高階語義 單層雖也可以擬合任意函式,但是相對而言參數量指數級上公升,太大,且不好訓練 為什麼神經網路選擇了 深度 單層神經網路 多層感知機 深度學習的總結 吳恩達深度學習筆記 24 為什麼要使用深度神經網路?詳解機器學習中的梯度消失 ...