將全連線轉為卷積層的原因,這篇聽懂了!

2021-09-28 07:43:11 字數 2261 閱讀 1094

所以我們得以得到結論,全連線層和卷積層實際上是可以相互轉換的

舉個例子:

最後乙個卷積層的輸出為 7*7*512,即每個 feature map 的大小為 7*7,共有 512 個 feature map,然後通過乙個全連線層得到了 1*1*4096 的輸出,如下圖所示:

將全連線層轉換為卷積層的關鍵就在卷積核引數的設定上,仍然用上面的例子:

設定卷積核大小為 7*7,通道數(厚度)為 512;[ 說白了其實就是和上一層的 feature map 尺寸一模一樣 ]

設定 4096 組卷積核;

當這組卷積核作用於輸入的 feature map 上時,就能得到乙個 1*1*4096 的輸出。

由於卷積核大小和輸入的 feaure map 一模一樣,就保證了轉換後的卷積層的運算結果和之前的全連線層是一樣的。

為什麼要將全連線層變為卷積層?

對於傳統的 cnn(即包含全連線層),乙個確定的網路其輸入影象的大小是固定的,比如 caffenet 的輸入須是 227*227,那麼對於更大的影象,在檢測時就需要裁剪出很多 227*227 的小影象分別送入 cnn 網路中,使得檢測任務十分耗時。

而網路需要輸入固定大小影象的主要原因就是有全連線層,當把全連線層替換成了卷積層後,就可以不限制輸入影象的大小,一次性輸入網路即可獲得一張所有位置的檢測目標概率,形成一幅 heatmap。

固定大小是說送入網路訓練的每乙個資料大小需要一樣,可以全都是 227*227,也可以全都是 224*224,只要統一就行。

這樣要求的原因是全連線層與前一層連線時,引數數量需要預先設定好。不同於卷積操作,卷積核的引數數量就是卷積核大小,它與前一層的 feature map 多大沒有關係,但是全連線層的引數是隨著前一層 feature map 的大小變化而變化的,當輸入影象大小不同,全連線層之前得到的 feature map 大小也不一樣,那麼全連線層的引數數量就不能確定,所以必須固定輸入影象的大小。

所以我們得以得到結論,全連線層和卷積層實際上是可以相互轉換的

舉個例子:

最後乙個卷積層的輸出為 7*7*512,即每個 feature map 的大小為 7*7,共有 512 個 feature map,然後通過乙個全連線層得到了 1*1*4096 的輸出,如下圖所示:

將全連線層轉換為卷積層的關鍵就在卷積核引數的設定上,仍然用上面的例子:

設定卷積核大小為 7*7,通道數(厚度)為 512;[ 說白了其實就是和上一層的 feature map 尺寸一模一樣 ]

設定 4096 組卷積核;

當這組卷積核作用於輸入的 feature map 上時,就能得到乙個 1*1*4096 的輸出。

由於卷積核大小和輸入的 feaure map 一模一樣,就保證了轉換後的卷積層的運算結果和之前的全連線層是一樣的。

為什麼要將全連線層變為卷積層?

對於傳統的 cnn(即包含全連線層),乙個確定的網路其輸入影象的大小是固定的,比如 caffenet 的輸入須是 227*227,那麼對於更大的影象,在檢測時就需要裁剪出很多 227*227 的小影象分別送入 cnn 網路中,使得檢測任務十分耗時。

而網路需要輸入固定大小影象的主要原因就是有全連線層,當把全連線層替換成了卷積層後,就可以不限制輸入影象的大小,一次性輸入網路即可獲得一張所有位置的檢測目標概率,形成一幅 heatmap。

固定大小是說送入網路訓練的每乙個資料大小需要一樣,可以全都是 227*227,也可以全都是 224*224,只要統一就行。

這樣要求的原因是全連線層與前一層連線時,引數數量需要預先設定好。不同於卷積操作,卷積核的引數數量就是卷積核大小,它與前一層的 feature map 多大沒有關係,但是全連線層的引數是隨著前一層 feature map 的大小變化而變化的,當輸入影象大小不同,全連線層之前得到的 feature map 大小也不一樣,那麼全連線層的引數數量就不能確定,所以必須固定輸入影象的大小。

全連線層與卷積層替換的原因

參考 out in 2p k s 1 same 考慮下圖 現有一feature map 7x7x512,當其與相同尺寸的核進行卷積時就相當於矩陣的點積,結果是乙個值。所以 當filter1設定為7x7x512時,結果實際就是512個點積的和,而4096個7x7x512進行卷積,就可得到1x4096。...

全連線層及卷積層的反向傳播公式

這裡主要是記錄一下全連線層及卷積層的兩組反向傳播 bp 公式,只要看懂和記住這兩個公式,反向傳播的理解和實現應該都是不難的了。z jl kw jkla kl 1 bjl 1.1 z l j sum k w l a k b l j tag zjl k wj kl a kl 1 bj l 1 1 l a...

卷積神經網路中的 「全連線層」

對 n 1 層和 n 層而言,n 1 層的任意乙個節點,都和第 n 層所有節點有連線 即第n層節點都和第n 1層節點相連線 即第n層的每個節點在進行計算的時候,啟用函式的輸入是n 1層所有節點的加權。像下面的中間層就是全連線方式 以上圖為例,我們仔細看上圖全連線層的結構,全連線層中的每一層是由許多神...