卷積神經網路池化層和卷積層作用

2021-07-27 14:40:09 字數 1067 閱讀 6204

個人覺得主要是兩個作用:

1. invariance(不變性),這種不變性包括translation(平移),rotation(旋轉),scale(尺度)

2. 保留主要的特徵同時減少引數(降維,效果類似pca)和計算量,防止過擬合,提高模型泛化能力

(1) translation invariance:

這裡舉乙個直觀的例子(數字識別),假設有乙個16x16的,裡面有個數字1,我們需要識別出來,這個數字1可能寫的偏左一點(圖1),這個數字1可能偏右一點(圖2),圖1到圖2相當於向右平移了乙個單位,但是圖1和圖2經過max pooling之後它們都變成了相同的8x8特徵矩陣,主要的特徵我們捕獲到了,同時又將問題的規模從16x16降到了8x8,而且具有平移不變性的特點。圖中的a(或b)表示,在原始中的這些a(或b)位置,最終都會對映到相同的位置。

下圖表示漢字「一」的識別,第一張相對於x軸有傾斜角,第二張是平行於x軸,兩張相當於做了旋轉,經過多次max pooling後具有相同的特徵

下圖表示數字「0」的識別,第一張的「0」比較大,第二張的「0」進行了較小,相當於作了縮放,同樣地,經過多次max pooling後具有相同的特徵

具體來說,左邊是影象輸入,中間部分就是濾波器filter(帶著一組固定權重的神經元),不同的濾波器filter會得到不同的輸出資料,比如顏色深淺、輪廓。相當於如果想提取影象的不同特徵,則用不同的濾波器filter,提取想要的關於影象的特定資訊:顏色深淺或輪廓。

如下圖所示

卷積神經網路 池化層

池化層的作用 增加平移不變性 降取樣,即降維 增大感受野 平移的不變性是指當我們對輸入進行少量平移時,經過池化函式後的大多數輸出並不會發生改變。區域性平移不變性是乙個有用的性質,尤其是當我們關心某個特徵是否出現,而不關心它出現的具體位置時。保留主要特徵的同時減少引數和計算量,防止過擬合,提高模型泛化...

卷積神經網路 卷積層

1 2 該部落格主要是對網上知識點的學習和整理,方便日後複習。侵刪。卷積神經網路 cnn 一般由輸入層 卷積層 啟用函式 池化層 全連線層組成,即input 輸入層 conv 卷積層 relu 啟用函式 pool 池化層 fc 全連線層 當我們給定乙個 x 的圖案,計算機怎麼識別這個圖案就是 x 呢...

卷積神經網路 卷積神經網路啟用層

在生物意義上的神經元中,只有前面的樹突傳遞的訊號的加權和值大於某乙個特定的閾值的時候,後面的神經元才會被啟用。簡單的說啟用函式的意義在於判定每個神經元的輸出 放在人臉識別卷積神經網路中來思考,卷積層的啟用函式的意義在於這一塊區域的特徵強度如果沒有達到一定的標準,就輸出0,表明這種特徵提取方式 卷積核...