卷積神經網路中的1 1卷積

2021-08-26 02:46:37 字數 1475 閱讀 8856

我們都知道,卷積核的作用在於特徵的抽取,越是大的卷積核尺寸就意味著更大的感受野,當然隨之而來的是更多的引數。早在2023年,lecun大神發布的letnet-5模型中就會出,影象空域內具有區域性相關性,卷積的過程是對區域性相關性的一種抽取。 

但是在學習卷積神經網路的過程中,我們常常會看到一股清流般的存在—1*1的卷積!

比如在殘差網路的直連裡:

殘差網路的bootleneck殘差模組裡:

在googlenet的inception模組裡:

都有1*1卷積核的出現,那麼它到底是做什麼的?我們應該如何理解1*1卷積的原理?

當1*1卷積出現時,在大多數情況下它作用是公升/降特徵的維度,這裡的維度指的是通道數(厚度),而不改變的寬和高。

舉個例子,比如某次卷積之後的結果是w*h*6的特徵,現在需要用1*1的卷積核將其降維成w*h*5,即6個通道變成5個通道: 

如下圖就是乙個w*h*6的特徵,而1*1的卷積核在圖上標出,卷積核自身的厚度也是6(圖畫的好難看!!) 

通過一次卷積操作,w*h*6將變為w*h*1,這樣的話,使用5個1*1的卷積核,顯然可以卷積出5個w*h*1,再做通道的串接操作,就實現了w*h*5。 

在這裡先計算一下引數數量,一遍後面說明,5個卷積核,每個卷積核的尺寸是1*1*6,也就是一種有30個引數。

我們還可以用另一種角度去理解1*1卷積,可以把它看成是一種全連線,如下圖: 

第一層有6個神經元,分別是a1—a6,通過全連線之後變成5個,分別是b1—b5,第一層的六個神經元要和後面五個實現全連線,本圖中只畫了a1—a6連線到b1的示意,可以看到,在全連線層b1其實是前面6個神經元的加權和,權對應的就是w1—w6,到這裡就很清晰了: 

第一層的6個神經元其實就相當於輸入特徵裡面那個通道數:6,而第二層的5個神經元相當於1*1卷積之後的新的特徵通道數:5。 

w1—w6是乙個卷積核的權係數,如何要計算b2—b5,顯然還需要4個同樣尺寸的核。

最後乙個問題,影象的一層相比於神經元還是有區別的,這在於是乙個2d矩陣還是乙個數字,但是即便是乙個2d矩陣的話也還是只需要乙個引數(1*1的核),這就是因為引數的權值共享。

參考:

卷積神經網路 1 1 卷積核

卷積神經網路中卷積核的作用是提取影象更高維的特徵,乙個卷積核代表一種特徵提取方式,對應產生乙個特徵圖,卷積核的尺寸對應感受野的大小。經典的卷積示意圖如下 5 5的影象使用3 3的卷積核進行卷積,結果產生3 3 5 3 1 的特徵影象。卷積核的大小一般是 2n 1 2n 1 的奇數乘奇數大小 n 1 ...

卷積神經網路 1 1 卷積核

卷積神經網路中卷積核的作用是提取影象更高維的特徵,乙個卷積核代表一種特徵提取方式,對應產生乙個特徵圖,卷積核的尺寸對應感受野的大小。經典的卷積示意圖如下 5 5的影象使用3 3的卷積核進行卷積,結果產生3 3 5 3 1 的特徵影象。卷積核的大小一般是 2n 1 2n 1 的奇數乘奇數大小 n 1 ...

卷積神經網路中用1 1 卷積

假設我有乙個轉換層輸出 n,形張量 n批量大小 f是卷積濾波器的數量 是空間尺寸 假設將此輸出饋入v1的轉換層1x1過濾器,零填充和跨度1。然後此1x1轉換層的輸出將具有形狀 1 h 因此1x1轉換濾鏡可用於更改濾鏡空間中的尺寸。如果?1 那麼我們在增加維數,如果?1 我們正在降低維度,即過濾器維度...