系列部落格是博主學習神經網路中相關的筆記和一些個人理解，僅為作者記錄筆記之用，不免有很多細節不對之處。
卷積神經網路（convolutional neural network）採用三種基本概念：區域性感受野（local receptive fields）,共享權值（shared weights）和池化（pooling，也有稱為混合，或者subsample，下取樣）。讓我們逐個看下。
在之前的全連線層的網路中，輸入被描繪成縱向排列的神經元，但在乙個卷積網路中，把輸入看作是28
× ×
28的方形排列的神經元，其值對應於我們用作輸入的畫素強度。和通常一樣，我們把輸入畫素連線到乙個隱藏神經元層。但是我們不會把輸入畫素連線到每乙個隱藏神經元。相反，我們只把輸入畫素進行區域性連線。
說的確切點，第乙個隱藏層中的每個神經元會連線到乙個輸入神經元的小區域，可能看起來像這樣的連線
這個輸出影象的區域被稱為隱藏神經元的區域性感受野。它是輸出像上的乙個小視窗。每個連線學習乙個權重。而隱藏神經元同時也學習乙個個總的偏置。你可以把這個特定的隱藏神經元看作是在學習分析它的區域性感受野。
我們然後在整個輸出影象上移動區域性感受野。對於每個區域性感受野，在第乙個隱藏層中有乙個不同的隱藏神經元。為了正確說明，讓我們從左上⻆開始乙個區域性感受野：
然後我們往右移動區域性感受野，連線到第二個隱藏神經元：
如此重複，構建起第乙個隱藏層。實際上，有時候會使用不同的跨距（stride）。例如，我可以往右（或下）移動 2 個畫素的區域性感受野。
共享權值就是對於乙個輸入，我們利用同乙個權值。比如對於28
× ×
28的輸入影象，我們利用同乙個5
× ×
5的卷積核（kernel）
w w
和同乙個偏置
b b
，那麼隱層輸出可以表示為al
+1=σ
(w∗a
l+b)
' role="presentation" style="text-align: center; position: relative;">al+
1=σ(
w∗al
+b)a
l+1=
σ(w∗
al+b
)這個卷積核
w w
就是我們需要訓練的引數。
權值共享實際上就是我們進行特徵自動提取的實現手段。通俗的講，卷積可以認為是，我們拿乙個特徵影象
w w
在輸入上逐個的進行掃瞄對比，卷積獲得的值可以認為是用來描述輸入影象與特徵影象的相似度。卷積核
w w
又可以稱為特徵檢測器，濾波器。因為這個原因，我們有時候把從輸入層到隱藏層的對映稱為乙個特徵對映（feature map）。通過不斷的訓練，我們就可以自動地尋找到可以很好描述輸入的特徵濾波器。
目前我們描述的網路結構只能檢測一種區域性特徵的型別。為了完成影象識別我們需要多個特徵對映。所以乙個完整的卷積層由幾個不同的特徵對映組成：
共享權重和偏置的另乙個很大的優點是，它極大減少了參與的卷積網路的引數。對於每個特徵對映我們需要 25 = 5
× ×
5 個共享權重，加上乙個共享偏置。所以每個特徵對映需要 26 個引數。如果我們有 20 個特徵對映，那麼總共有 20
× ×
26 = 520 個引數來定義卷積層。作為對比，假設我們神經網路的第一層為全連線層，隱層含有 30 個神經元，那麼總共有784
× ×
30 個權重，加上額外的 30 個偏置，共有 23; 550 個引數。換句話說，這個全連線的層有多達 40 倍於卷基層的引數。
池化層（子 取樣，下取樣，降取樣等等）通常緊接著在卷積層之後使用。它要做的是簡化從卷積層輸出的資訊，同時具有抗噪音的作用。池化層有兩種常用的方式：均勻池化（mean-pooling）和最大值池化（max-pooling）。池化也可以認為是一種特殊的卷積層，比如我們利用2
× ×
2的池化核，卷積過程中的跨距（stride）的值剛好也是2，那麼這個過程就是池化。下面以2
× ×
2池化核說明這兩種不同的池化方式
最大值池化：取這4個數值中最大的乙個作為下取樣的值。
均勻池化：起到模糊平均的作用，4個數值求和平均作為下取樣的值（可認為池化核的值為0.25）
卷積神經網路的結構各式各樣，下面是乙個簡單的結構圖
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張，通過對應位置相乘求和，我們從左邊矩陣得到了右邊矩陣，邊緣是白色寬條，當畫素大一些時候，邊緣就會變細。觀察卷積核，左邊一列權重高，右邊一列權重低。輸入，左邊的部分明亮，右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡，下面這個圖左邊暗...
卷積神經網路和神經網路
在神經網路中，每一層的每個神經元都與下一層的每個神經元相連 如下圖 這種連線關係叫全連線 full connected 如果以影象識別為例，輸入就是是每個畫素點，那麼每乙個畫素點兩兩之間的關係 無論相隔多遠 都被下一層的神經元 計算 了。這種全連線的方法用在影象識別上面就顯得太 笨 了，因為影象識別...