1 1卷積核的作用

2021-10-21 19:12:06 字數 2292 閱讀 1687

如何理解跨通道的資訊互動和整合呢?首先還得從三維卷積的計算開始。

如圖所示,藍色部分是乙個7×7×n(維數)的feature map,黃色塊為3×3×3的卷積核,將卷積核對應到藍色特徵中可以得到乙個紅色陰影區域,舉個具體的例子:假設卷積核所有的引數都為1。

那麼紅色部分的數值=1×1+4×1+3×1+2×1+0×1+4×1+6×1+2×1+9×1+8×1+7×1+4×1+7×1+5×1+1×1+3×1+1×1+4×1+9×1+4×1+3×1+2×1+0×1+1×1+6×1+1×1+7×1+1×1=103

緊接著將紅色陰影區域向右移動乙個單位計算下乙個數值,並依次記錄下來,得到乙個新的特徵層(即綠色部分所示),可以發現綠色部分的尺寸變小了,如果需要保持特徵尺度不變,這個可以進行padding操作,即在外圈補充數值,可以補0也可以補1,以達到保持特徵尺寸不變的目的。

對於1×1×n大小的卷積核,經過上述的計算方法,可以把n個維度上的數字資訊線性組合起來,因此它實現了跨通道(跨維度)的資訊互動和整合。

根據卷積核的卷積次數,也可以認為是filter的個數,因為乙個卷積核就代表乙個filter,進行n次卷積就代表了執行n次濾波操作。完整的執行一輪卷積後會得到乙個新的feature map,將這n個feature map堆疊起來(這裡可以想象成乙個搭積木的過程),這樣就可以得到乙個n維的特徵。降維或公升維的過程可由下圖清晰的表述。(圖源自網路,侵刪)

圖左是完整執行了兩次濾波操作後的結果,圖右是完整執行了四次濾波的結果。其中降維的好處就是減少計算量,下面可以用乙個例子來證明:

上圖為未進行1×1卷積操作的結果,下圖為執行了1×1卷積操作的結果,可以發現他們最終得到的特徵都是30×40×55,但是他們的乘法計算量卻相差很大。

上圖的乘法計算量=5×5×200×(30×40)×55(個)=330000000

而下圖的乘法計算量是1×1×200×(30×40)×20(個)+5×5×20×(30×40)×55(個)=37800000

可以發現37800000/330000000=0.114545…,增加1*1卷積後顯著減少了計算量。這種結構也稱為瓶頸結構可能有人會問:這樣子大幅度的縮小模型的規模會不會影響到網路的效能?其實很多學者在**中都用事實證明了,只要合理構建瓶頸結構,既可以顯著縮小模型規模,又不會降低網路的效能,從而大量減少了計算,加快模型收斂。

1×1的卷積核,可以在保持feature map尺度不變的(即不損失解析度)的前提下大幅增加非線性特性(利用後接的非線性啟用函式),把網路做的很deep。

tip:乙個filter對應卷積後得到乙個feature map,不同的filter(不同的weight和bias),卷積以後得到不同的feature map,提取不同的特徵。

如圖所示,b1=a1×w1+a2×w2+…+a6×w6,b1的數值就相當於文中開篇圖中紅色小立方體位置處的數值。這樣一來,全連線的過程就相當於執行1×1卷積的過程了。

1 1卷積核的作用和原理

1 1的卷積作用 1.常常用於降維 降通道數 其實也可以用於公升高維度。2.增加了跨通道的資訊互動 3.增加了非線性。這個存疑 原理 從圖的下部可以看出,使用1 1 5的卷積,在4 4 5的特徵圖上遍歷整個寬和高 4 4 相當於在寬高做加乘,得到4 4 1的特徵圖。也就是用3個 1 1的卷積,可以得...

卷積核引數的計算及1 1卷積核

首先,明確乙個概念 卷積並不只是乙個二維的過程,實際上對於輸入的一般而言是三個通道的 r g b 那為什麼輸出的結果可以是128個通道呢?實際上經過卷積過後的通道數是由卷積核的個數來決定的,整個的卷積過程二維情況下也就是在每個通道下發生的卷積過程為 在多通道情況下的卷積情況如下 其實濾波器的維度應該...

卷積核裡面的引數怎麼來的 1 1卷積核的作用

1x1的卷積核由於大小只有1x1,所以並不需要考慮畫素跟周邊畫素的關係,它主要用於調節通道數,對不同的通道上的畫素點進行線性組合,然後進行非線性化操作,可以完成公升維和降維的功能,如下圖所示,選擇2個1x1大小的卷積核,那麼特徵圖的深度將會從3變成2,如果使用4個1x1的卷積核,特徵圖的深度將會由3...