權值共享(卷積運算對比全連線運算)

2021-10-04 02:17:28 字數 1065 閱讀 8263

如果不進行卷積操作,那麼所有的神經網路層之間將全部使用全連線。

圖中的兩級神經元:

所以,如果原圖的尺寸是 m×n,假設特徵圖的尺寸為 p×q ,那麼運算的過程中的權重個數是 m×n×p×q,權重的個數就是圖中兩層神經元之間的彩色的線的條數,因為圖中進行的操作是全連線操作。

因此,由圖可見,會產生非常大量的權重運算,浪費計算資源。

假設現在原圖的大小為 10 × 10,使用卷積核的大小為3 × 3,卷積核的個數為 5 個,用來提取 5 個不同的特徵,那麼得到的特徵圖大小為 8×8(10-3+1),如果使用padding 方法,那麼得到的特徵圖為10 × 10,但是,在運算過程中卷積核所使用的權重引數的個數僅僅為:3 × 3 × 5 = 45個權重引數。

ps:以上所有的描述,預設使用的灰度圖(也就是原圖通道數為1),方便闡述

【例項對比一下】

現有如下灰度圖原圖:

① 使用卷積法的引數數量:

3 × 3 × 5 = 45

② 使用全連線法的引數數量:

10 × 10 × 10 × 10 = 10000

數量級差別明顯,原因是:

cnn 卷積網路的過程中,乙個卷積核對一整幅原圖進行計算的時候,掃瞄整幅圖所有的部分用的是同乙個卷積核。如下:

可以看的很清楚,無論這個卷積核在原圖的哪乙個部分做運算,總是這同乙個卷積核,最後輸出得到乙個特徵圖。

如上圖所示,詳細展示了,如何在卷積核運算的過程中共享同一組權重引數,而且右邊的神經網路層也可以看的很清楚,右面神經網路圖的部分的顏色對應的是左邊卷積核中對應的引數。可以很直觀的看到,引數的數量大大減少,而且非常有效。

如何理解卷積 權值共享 池化

要理解卷積,首先你要理解什麼是全連線和區域性連線,全連線是什麼?舉個例子,100 100大小的影象,假設有100個隱含神經元,那麼就有100 100 100個連線,太可怕,區域性連線是什麼,假設每個隱含神經元只區域性連線10 10,那麼就有10 10 100個連線。那麼什麼是卷積,什麼又是權值共享?...

如何理解卷積神經網路中的權值共享

權值共享這個詞最開始其實是由lenet5模型提出來,在1998年,lecun發布了lenet網路架構,就是下面這個 雖然現在大多數的說法是2012年的alexnet網路是深度學習的開端,但是cnn的開端最早其實可以追溯到lenet5模型,它的幾個特性在2010年初的卷積神經網路研究中被廣泛的使用 其...

通道 卷積核 神經元 權值共享的理解

1.通道和卷積核的理解 我們有rgb三通道的輸入影象,那麼我們如果獲得乙個特徵,那麼我們需要乙個卷積核,而這乙個卷積核包含三個矩陣。三通道的rgb影象通過這樣的卷積就會變成乙個通道的。比如我輸入的是rgb三個通道的影象7 7 3,那麼我們如果想得到乙個影象的乙個特徵,那麼我們需要1個3 3的卷積核,...