首先我們回顧下lenet網路結構：
如圖1中紅色方框所示，在經過多次卷積——池化——卷積——池化操作後，接著是兩次全連線操作。全連線層是傳統的多層感知器，在輸出層中使用softmax啟用功能（也可以使用其他分類器，例如svm）。術語「全連線」表示上一層中的每個神經元都連線到下一層中的每個神經元。卷積和池化層的輸出代表輸入影象的高階特徵。全連線層的目的是使用這些特徵根據訓練資料集將輸入影象分類為各種類別。例如，圖1展示的是影象分類任務具有四個可能的輸出（狗，貓，船，鳥）。
除了分類之外，新增全連線層通常也是學習這些功能的非線性組合的一種廉價的方法。來自卷積層和池化層的大多數特徵可能對分類任務很有用，但是這些特徵的組合甚至可能更好。softmax作為全連線層的輸出層中的啟用函式可以確保全連線層的輸出概率之和為1。（softmax 函式輸入乙個任意大於 0 值的向量，會把它們轉換為零一之間的數值，其和為一）
卷積網路的總體訓練過程可以總結如下：
步驟1：我們使用隨機值初始化所有過濾器和引數/權重步驟2：網路將訓練影象作為輸入，進行正向傳播步驟（卷積，relu和池化操作以及完全連線層中的正向傳播），並找到每個類別的輸出概率。
步驟3：計算輸出層的總誤差，總誤差= ∑½（目標概率–輸出概率）²
步驟4：使用反向傳播來計算相對於網路中所有權重的誤差梯度，並使用梯度下降來更新所有濾波器值/權重和引數值，以最大程度地減少輸出誤差。
步驟5：對訓練集中的所有影象重複步驟2-4。
如圖2所示，卷積網路中可以重複多次使用「卷積—池化」操作一般而言，我們進行的卷積步驟越多，我們的網路將能夠學會識別的功能就越複雜。 例如，在影象分類中，cnn可以學會從第一層中的原始畫素檢測邊緣，然後使用邊緣來檢測第二層中的簡單形狀，然後使用這些形狀來組成高階特徵，例如圖3所示的在更高層的面部形狀。
卷積神經網路 全連線層
全連線層 全連線層與卷積層 全連線層與gap 全域性平均池化層 1 2 3 全連線層一般會把卷積輸出的二維特徵圖轉化為一維的乙個向量，全連線層的每乙個節點都與上一層的每個節點連線，是把前一層的輸出特徵都綜合起來，所以該層的權值引數是最多的。作用 全連線網路的作用就是將最後一層卷積得到的feature...
神經網路 全連線神經網路
全連線神經網路 也稱作多層感知機 mlp 1.1 神經元 神經元接收輸入向量x xx神經元節點有權重向量w和偏置項b 輸出值為f w tx b f w tx b f wtx b 在經過類似線性回歸之後 使用啟用函式對得到值進行操作 1.2 網路結構 個人對於每一層的理解就是 使用 這層維度，上層維度...
卷積神經網路的訓練
考慮步長為1 輸入影象的深度為1 filter的個數為1的最簡單的情況。假設 我們輸入的大小為3x3 filter大小為2x2，按步長為1來進行卷積，可知我們將得到的是乙個2x2的feature map。如下圖 後面的步驟一定要結合圖看才容易懂一點 在上圖中 通過推導，我們不難發現，計算 對應成卷積...