卷積只能在同一組進行嗎？-- group convolution
卷積核一定越大越好？-- 3×3卷積核
每層卷積只能用一種尺寸的卷積核？-- inception結構
怎樣才能減少卷積層參數量？-- bottleneck
256維的輸入先經過乙個1×1×64的卷積層，再經過乙個3×3×64的卷積層，最後經過乙個1×1×256的卷積層，輸出256維，參數量為：256×1×1×64 + 64×3×3×64 + 64×1×1×256 = 69,632。足足把第一種操作的參數量降低到九分之一！
越深的網路就越難訓練嗎？-- resnet殘差網路
卷積操作時必須同時考慮通道和區域嗎？-- depthwise操作
分組卷積能否對通道進行隨機分組？-- shufflenet
通道間的特徵都是平等的嗎？ -- senet
能否讓固定大小的卷積核看到更大範圍的區域？-- dilated convolution
卷積核形狀一定是矩形嗎？-- deformable convolution 可變形卷積核
啟發與思考
單一尺寸卷積核用多尺寸卷積核代替；
固定形狀卷積核趨於使用可變形卷積核；
使用1×1卷積核（bottleneck結構）。
使用分組卷積；
分組卷積前使用channel shuffle；
通道加權計算。
densely connection，使每一層都融合上其它層的特徵輸出（densenet）
原文發布時間為：2018-09-17
一維卷積神經網路 卷積神經網路中的計算
卷積的基本介紹 卷積操作後張量的大小計算 卷積參數量的計算 卷積flops的計算 感受野的計算 卷積神經網路中的卷積是指定義好卷積核 kernel 並對影象 或者特徵圖，feature map 進行滑動匹配，即對應位置相乘再相加。其特點就在於能夠捕捉區域性的空間特徵。具體過程如下圖所示 圖1 二維卷...
神經網路中的卷積層
卷積層是卷積神經網路中的基礎操作，甚至在網路最後起分類作用的全連線層在工程實現時也是由卷積操作替代的。卷積運算實際上是分析數學的一種運算方式，在卷積神經網路中通常僅涉及離散卷積的情形。下面以輸入影象為5 x 5矩陣，其對應的卷積核 亦稱卷積引數，convolution kernel或convolut...
卷積神經網路中的1 1卷積
我們都知道，卷積核的作用在於特徵的抽取，越是大的卷積核尺寸就意味著更大的感受野，當然隨之而來的是更多的引數。早在1998年，lecun大神發布的letnet 5模型中就會出，影象空域內具有區域性相關性，卷積的過程是對區域性相關性的一種抽取。但是在學習卷積神經網路的過程中，我們常常會看到一股清流般的存...