深度學習筆記整理(三) 卷積神經網路

2021-10-06 23:53:10 字數 986 閱讀 7162

由負責對比度提取的g層,負責圖形特徵提取的s細胞層和抗變形的c細胞層交替排列組成。

基於人類視覺皮層感受野的結構得到的模型,由輸入層、卷積層、池化層、全連線層、輸出層組成,接下來分別具體介紹不同層。

卷積的本質:如果全部都是全連線層,引數太多,無法調整,無法實現,因此改用卷積核,共享引數,減少參數量。

卷積層

池化層

最大池化:選取影象區域內的最大值;

平均池化:選取影象區域內的平均值;

lp池化:突出影象區域內的**值,p越大越能突出中心位置的值。

全連線層

輸出層

3.卷積神經網路的訓練

池化層的誤差傳播

卷積層的誤差傳播

引數設定對結果的影響

卷積核大小

無顯著影響

卷積核數量越多越好

啟用函式種類relu和maxout好於sigmoid和tanh

全連線層個數

無顯著影響

有無預處理zca白色化和gcn+zca白色化都可以提高效能

有無dropout

提高些許效能

不同學習率

無顯著影響

mini-batch大小

無顯著影響

有無歸一化層

無顯著影響

標準bp演算法&累積bp演算法

bp神經網路的過擬合問題

跳出區域性最小值的方法

深度學習(二 卷積神經網路)

主要層結構 卷積層 池化層 全連線層。神經元個數 乙個卷積層的輸出是20 20 32,則神經元的個數為 20 20 32 12800 濾波器視窗大小 3 3,輸入的資料體深度10,則每個神經元有 3 3 10 900引數 總的引數 12800 900 11520000個引數 引數共享 32個濾波器,...

神經網路的認識(三)卷積神經網路

卷積神經網路主要由以下五種結構組成 輸入層。輸入層是整個神經網路的輸入 在處理影象 的卷積神經網路中,它一般代表了一張的畫素矩陣。從輸入層開始 卷積神經網路通過不同的神經網路結構將上一層的三維矩陣轉化為下一層的三維矩陣 直到最後的全連線層。卷積層。從名字就可以看出,卷積層是乙個卷積神經網路中最為重要...

《1。卷積神經網路》

1.簡述卷積的基本操作,並分析其與全連線層的區別 答 具有區域性連線和權值共享的特點。卷積操作能夠在輸出資料中大致保持輸入資料的結構資訊 2.在卷積神經網路中,如何計算各層的感受野大小?答 3.卷積層的輸出尺寸 參數量和計算量 答 輸出尺寸 1.簡述分組卷積及其應用場景 答 分組卷積就是將輸入通道和...