11 1 1卷積的主要作用有以下幾點

2021-09-13 14:54:44 字數 523 閱讀 2381

1、降維( dimension reductionality )(減少引數)。比如,一張500 * 500且厚度depth為100 的在20個filter上做1*1的卷積,那麼結果的大小為500*500*20。

2、公升維(用最少的引數拓寬網路channal)

3、加入非線性。卷積層之後經過激勵層,1*1的卷積在前一層的學習表示上新增了非線性激勵( non-linear activation ),提公升網路的表達能力;

4、跨通道資訊互動(channal 的變換)例子:使用1*1卷積核,實現降維和公升維的操作其實就是channel間資訊的線性組合變化,3*3,64channels的卷積核後面新增乙個1*1,28channels的卷積核,就變成了3*3,28channels的卷積核,原來的64個channels就可以理解為跨通道線性組合變成了28channels,這就是通道間的資訊互動。注意:只是在channel維度上做線性組合,w和h上是共享權值的sliding window

5、從fully-connected layers的角度來理解1*1卷積核,將其看成全連線層

1 1卷積核的作用

如何理解跨通道的資訊互動和整合呢?首先還得從三維卷積的計算開始。如圖所示,藍色部分是乙個7 7 n 維數 的feature map,黃色塊為3 3 3的卷積核,將卷積核對應到藍色特徵中可以得到乙個紅色陰影區域,舉個具體的例子 假設卷積核所有的引數都為1。那麼紅色部分的數值 1 1 4 1 3 1 2...

1x1卷積的作用

1x1卷積的作用 在架構內容設計方面,其中乙個比較有幫助的想法是使用1x1的卷積。這裡用1x1的過濾器進行卷積似乎用處不大。只是對輸入矩陣乘以某個數字。但這僅僅是對於6x6x1的通道來說1x1卷積效果不佳。如果是一張6x6x32的,那麼使用1x1過濾器進行卷積效果更好。具體來說 1x1卷積所要實現的...

面試問題 1 1卷積的作用

一維卷積通常用於序列模型中,所以在自然語言處理中,通常使用的是一維卷積。1 公升維和降維,通常將一維卷積當做全連線使用 2 加入非線性。卷積層之後經過激勵層,1 1 的卷積在前一層的學習表示上新增了非線性激勵 non linear activation 提公升網路的表達能力 3 跨通道資訊互動 ch...