分組卷積和深度可分離卷積

2021-10-22 07:22:54 字數 1247 閱讀 7981

之間看分組卷積示意圖。

不分組:

分兩組:

分四組:

以此類推。當然,以上都是均勻分組的,不均分也是可以的。至於分組卷積有什麼好處,很明顯,可以節省參數量。假設不使用分組時,卷積核的參數量為:

$n = k^2c_1c_2$

其中$k,c_1,c_2$分別表示卷積核寬度,輸入通道數,輸出通道數。如果使用分組卷積,分為$m$組,則卷積核參數量為:

$\displaystyle n = mk^2\frac\frac = \frac$

也就是說分幾組,參數量就為原來的幾分之幾。當然偏置值是不會被節省的,都是$c_2$個。分組卷積時,每個分組對其它分組的特徵圖不可見,這實際上就等價於把網路進行分支,也就是把輸入的特徵圖以通道維度拆開來分別進行卷積,然後再將卷積結果拼接起來。分幾組就等於分幾個支。

分組卷積.ppt

深度可分離卷積(depthwise separable convolution)分為深度卷積(depth-wise convolution)和逐點卷積(point-wise convolution)兩步:

1、深度卷積就是把$h\times w\times c$的特徵圖$f$以通道維度分開,得到$c$個$h\times w\times 1$的特徵圖,然後使用$c$個$k\times k \times 1\times 1$的卷積核分別對這$c$個特徵圖進行卷積,得到$c$個$h'\times w'\times 1$的特徵圖,最後將他們按原來的順序連線起來得到$h'\times w'\times c$的特徵圖$f'$。

2、逐點卷積就是用$1\times 1\times c\times c_1$的卷積對$f'$進行卷積,得到$h'\times w'\times c_1$的最終結果。

其中深度卷積不使用偏執值,逐點卷積使用了偏執值。整個流程圖如下:

根據以上流程,可以計算出深度可分離卷積所需的參數量為(加的1為偏執值參數量):

$n = k^2c+(c+1)c_1$

分組卷積和深度可分離卷積

之間看分組卷積示意圖。不分組 分兩組 分四組 以此類推。當然,以上都是均勻分組的,不均分也是可以的。至於分組卷積有什麼好處,很明顯,可以節省參數量。假設不使用分組時,卷積核的參數量為 n k 2c 1c 2 其中 k,c 1,c 2 分別表示卷積核寬度,輸入通道數,輸出通道數。如果使用分組卷積,分為...

深度可分離卷積

下面這個文章介紹了深度可分離卷積是怎麼做的 本文的很多內容都是在這兩個文章的基礎上整理的。卷積基礎 描述乙個二維矩陣,使用row col。三維的,使用channel row col。四維則多了乙個引數 batch channel row col。batch channel row col的邏輯順序則...

深度可分離卷積

如果乙個卷積核代表乙個影象的屬性的話,上圖的方法就只能提取到乙個屬性。那麼如果想要多個屬性就需要多個卷積核 上圖中是最常見的卷積方法,使用多個卷積核來提取多個屬性。但是存在引數量過大的情況 先用三個卷積核對三個通道分別卷積,再對得到的結果進行1x1的卷積,這時候只要增加1 1卷積核的個數就能對應的增...