常規的全連線神經網路中，每個神經元連線上一層所有神經元的輸出，卷積神經網路只連線上一層神經元的一部分輸出
乙個完整的卷積結構如下圖所示
卷積網路兩大特性：
區域性連線(local connectivity)
舉例說明，一幅227x227x3的輸入影象，卷積層的每個神經元不是與整幅影象連線而只是與其中的11x11大小的區域連線，這個區域稱作local receptive field；值得注意的是一般只在width,height兩個方向上進行區域性連線，而在depth則是全連線（lenet-5不是這樣做的）。
比如：輸入32x32x3大小的影象，receptive field為5x5，那麼總共有5x5x3=75個連線
卷積層的輸出（feature map）大小由三個引數決定，depth, stride, zero-padding
depth:也就是 卷積層的神經元個數，同時也是卷積核的個數，決定了卷積層輸出有多少個feature map
stride::控制每個receptive field 在width，heigh上的重疊程度，如果stride 為1，那麼相鄰receptive field之間的只有一行或一列不同，stride越大相鄰receptive field之間的重疊區域越小
zero-padding:一方面可以控制feature map 大小，另一方面可以確保影象邊緣的特徵在後邊卷積的時候仍然處在receptive field的中間位置
一般用f表示receptive field大小，p表示zero-pading大小，s表示stride大小，k表示depth。如果輸入影象為w，則卷積層輸出feature map大小為(w-f+2*p)/s + 1，總共有k個這樣大小的feature map組合組合成乙個三維矩陣，每乙個feature map佔據矩陣中的乙個通道
例子：輸入影象：227x227x3，receptive field: 11x11， strdie: 4, zero-padding:0, depth: 96
輸出乙個feature map大小w, h:(227-11+2*0)/4 +1 = 55, 所有輸出為：55x55x96大小的矩陣
引數共享(parameter sharing)
引數共享可以大幅度減小模型中的引數，另外更重要的是影象中不同的區域存在相同型別的特徵，使用相同的引數可以提取到這些特徵。仍然以前乙個例子說明：
no paramerter sharing: 55x55x(11x11x3+1)x96 = 105705600
parameter sharing: (11x11x3+1)x96 = 34848
輸出feature map中的點稱為unit，同乙個feature map 中所有的unit共享同一組引數(稱為乙個卷積核，大小為11x11x3)，不同的feature map中的unit使用不同的引數，共有96組不同的引數。
下圖是乙個卷積的例子，輸入是7x7x3的影象，有兩組卷積核filter0和filter1，大小都是3x3x3, stride 2, zero-padding 1，輸出feature maps ：3x3x2
卷積的實現：
卷積的原理是卷積核與影象中對應的block做點積，實現的時候一般轉化為矩陣乘積：
還以227x227x3的影象為例，乙個receptive field對應的乙個卷積block 為 11x11x3，把每個block拉伸為乙個列向量，形成乙個363x3025大小的影象矩陣x， 同時把每個卷積核拉伸稱為乙個363x1的行向量，所有卷積核組成乙個96x363大小的引數矩陣w，卷積操作轉化為w*x
這樣做缺點在於需要更多的記憶體，有點是矩陣相乘可以借助現有的一些矩陣運算庫加快運算速度。
reference:
cs231n
neural network and deep learning
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張，通過對應位置相乘求和，我們從左邊矩陣得到了右邊矩陣，邊緣是白色寬條，當畫素大一些時候，邊緣就會變細。觀察卷積核，左邊一列權重高，右邊一列權重低。輸入，左邊的部分明亮，右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡，下面這個圖左邊暗...
卷積神經網路 有趣的卷積神經網路
一 前言 最近一直在研究深度學習，聯想起之前所學，感嘆數學是一門樸素而神奇的科學。f g m1 m2 r 萬有引力描述了宇宙星河運轉的規律，e mc 描述了恆星發光的奧秘，v h d哈勃定律描述了宇宙膨脹的奧秘，自然界的大部分現象和規律都可以用數學函式來描述，也就是可以求得乙個函式。神經網路 簡單又...