卷積神經網路

2021-08-29 02:14:48 字數 2116 閱讀 5190

有多個二維平面組成的卷積神經網路主要封你為特徵提取層和特徵對映層。本層神經元的輸入通過區域性感受野與上層神經元相連,構成特徵提取層;將提取的特徵對映為乙個所有神經元共享權值的平面,構成特徵對映層。每個特徵提取層後跟乙個用來區域性求平均與二次提取的降取樣層。

特點:使得網路對輸入樣本有較強的畸變容忍能力

卷積神經網路的網路連線具有區域性連線、引數共享的特點

以lenet-5

模型為基礎介紹卷積神經網路

中主要的有卷積層、下抽樣層、全連線層3中連線方式

lenet-5

不包含輸入,共7層,每層都包含若干個可供訓練和學習的引數。

注:卷積核對原始影象卷積的結果加上相應的閾值,得出的結果再經過啟用函式作用輸出形成

卷積層(c層)

,提取的這些特徵會在後續形成更高一級的特徵,同一特徵圖的神經元共享權值,

降取樣層(s層)

為減少學習引數對上一層進行抽樣平均。

輸出:分類結果,0~9之間的乙個數

因此我們可以知道,這是乙個多分類問題,總共有十個類,因此神經網路的最後輸出層必然是softmax問題,然後神經元的個數是10個。

lenet-5結構:

c1層:由6個大小為28*28的特徵圖組成的卷積層

lenet-5中最複雜的是s2到c3層

c3層:由16個大小為10*10的特徵圖組成的卷積層,這一層我們選擇卷積核的大小依舊為5*5,據此我們可以得到新的特徵圖大小為14-5+1=10,然後我們希望可以得到16張特徵圖。那麼問題來了?這一層是最難理解的,我們知道s2包含:6張14*14大小的,我們希望這一層得到的結果是:16張10*10的。這16張的每一張,是通過s2的6張進行加權組合得到的,具體是怎麼組合的呢?

每個特徵圖與s2層的若干個特徵圖的卷積核5*5相連,圖2.4中x表示兩層特徵圖之間有連線,可知當前層的特徵圖可能與前一排的幾個特徵圖之間有卷積關係。圖2.4中,前6個特徵圖與s2層連續的3個特徵圖相連線,後面接著的6個特徵圖與s2層連續的4個特徵圖相連線,然後的3個特徵圖與s2不連續的4個特徵圖相連線,最後乙個特徵圖與s2的所有特徵圖相連線,卷積核為5*5大小,所以總共有6*(3*5*5+1+6*(4*5*5+1)+3*(4*5*5+1)+1*(6*5*5+1)=1516個引數,而影象大小為10*10,所以共有151600個連線。

s4層:16張大小為5*5的下取樣層,即對c3的16張10*10的進行最大池化,池化塊的大小為2*2。因此最後s4層為16張大小為5*5的。至此我們的神經元個數已經減少為:16*5*5=400。引數為16*(1*1+1)=32個,5*5*16(2*2+1)=2000個連線。

c5層:120個1*1的特徵圖組成的卷積層,即繼續用5*5的卷積核進行卷積,然後我們希望得到120個特徵圖。這樣c5層的大小為5-5+1=1,也就是相當於1個神經元,120個特徵圖,因此最後只剩下120個神經元了。這個時候,神經元的個數已經夠少的了,後面我們就可以直接利用全連線神經網路,進行這120個神經元的後續處理。 而有120*(15*16+1)=48120個引數。

輸出層有代表0-9共10個字元的神經元組成,採用雙正切函式作為啟用函式,在分類器階段選用的是徑向基函式(rbf)

上面的結構,只是一種參考,在現實使用中,每一層特徵圖需要多少個,卷積核大小選擇,還有池化的時候取樣率要多少,等這些都是變化的,這就是所謂的cnn調參,我們需要學會靈活多變。

比如我們可以把上面的結構改為:c1層卷積核大小為7*7,然後把c3層卷積核大小改為3*3等,然後特徵圖的個數也是自己選,說不定得到手寫字型識別的精度比上面那個還高,這也是有可能的,總之一句話:需要學會靈活多變,需要學會cnn的調參。

神經網路 卷積神經網路

這篇卷積神經網路是前面介紹的多層神經網路的進一步深入,它將深度學習的思想引入到了神經網路當中,通過卷積運算來由淺入深的提取影象的不同層次的特徵,而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數,從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象,我盡量在下面描述細緻一些,但如果要更深入了...

神經網路 卷積神經網路

1.卷積神經網路概覽 來自吳恩達課上一張,通過對應位置相乘求和,我們從左邊矩陣得到了右邊矩陣,邊緣是白色寬條,當畫素大一些時候,邊緣就會變細。觀察卷積核,左邊一列權重高,右邊一列權重低。輸入,左邊的部分明亮,右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡,下面這個圖左邊暗...

卷積神經網路 有趣的卷積神經網路

一 前言 最近一直在研究深度學習,聯想起之前所學,感嘆數學是一門樸素而神奇的科學。f g m1 m2 r 萬有引力描述了宇宙星河運轉的規律,e mc 描述了恆星發光的奧秘,v h d哈勃定律描述了宇宙膨脹的奧秘,自然界的大部分現象和規律都可以用數學函式來描述,也就是可以求得乙個函式。神經網路 簡單又...