全連線層的作用 1 1卷積核作用(兩種理解方法)

2021-10-12 09:20:42 字數 1158 閱讀 7930

1、公升/降維

維度指通道數,厚度。不是的寬/高

示例

上圖的1..6就是通道數。

通道可以結合影象來理解

比如:rgb這是好理解的通道數。三通道乙個圖。三通道有各自的畫素值。和一起,是彩圖

當想改變通道是數目《==》厚度。就用1*1*m (m是新的被改變的通道數)

上圖長* 寬* 高 和 1* 1卷積得到 長*寬

用m個1*1的卷積,就能把通道數從6變為m

2、可以看成全連線

第一層有6個神經元,分別是a1—a6,通過全連線之後變成5個,分別是b1—b5,第一層的六個神經元要和後面五個實現全連線

本圖中只畫了a1—a6連線到b1的示意,可以看到,在全連線層b1其實是前面6個神經元的加權和,權對應的就是w1—w6,到這裡就很清晰了:

第一層的6個神經元其實就相當於輸入特徵裡面那個通道數:6,而第二層的5個神經元相當於1*1卷積之後的新的特徵通道數:5。 w1—w6是乙個卷積核的權係數,如何要計算b2—b5,顯然還需要4個同樣尺寸的核。

最後乙個問題,影象的一層相比於神經元還是有區別的,這在於是乙個2d矩陣還是乙個數字,但是即便是乙個2d矩陣的話也還是只需要乙個引數(1*1的核),這就是因為引數的權值共享。

ps:比如在fpn的主網路resnet中就會起到降低通道數的作用。

作者的演算法大致結構如下fig3:乙個自底向上的線路,乙個自頂向下的線路,橫向連線(lateral connection)。圖中放大的區域就是橫向連線,這裡1*1的卷積核的主要作用是減少卷積核的個數,也就是減少了feature map的個數,並不改變feature map的尺寸大小。

manofmountain:fpn: 一種高效的cnn特徵提取方法​zhuanlan.zhihu.com

1 1卷積核的作用

如何理解跨通道的資訊互動和整合呢?首先還得從三維卷積的計算開始。如圖所示,藍色部分是乙個7 7 n 維數 的feature map,黃色塊為3 3 3的卷積核,將卷積核對應到藍色特徵中可以得到乙個紅色陰影區域,舉個具體的例子 假設卷積核所有的引數都為1。那麼紅色部分的數值 1 1 4 1 3 1 2...

1 1卷積核的作用和原理

1 1的卷積作用 1.常常用於降維 降通道數 其實也可以用於公升高維度。2.增加了跨通道的資訊互動 3.增加了非線性。這個存疑 原理 從圖的下部可以看出,使用1 1 5的卷積,在4 4 5的特徵圖上遍歷整個寬和高 4 4 相當於在寬高做加乘,得到4 4 1的特徵圖。也就是用3個 1 1的卷積,可以得...

卷積核裡面的引數怎麼來的 1 1卷積核的作用

1x1的卷積核由於大小只有1x1,所以並不需要考慮畫素跟周邊畫素的關係,它主要用於調節通道數,對不同的通道上的畫素點進行線性組合,然後進行非線性化操作,可以完成公升維和降維的功能,如下圖所示,選擇2個1x1大小的卷積核,那麼特徵圖的深度將會從3變成2,如果使用4個1x1的卷積核,特徵圖的深度將會由3...