視覺基本問題：影象分類、目標識別、目標檢測、影象分割、目標分割。
池化層的輸入一般是圈基層，其作用是試特徵具有魯棒性，同時減少引數的數量，進而防止過擬合的發生。池化層沒有引數，所以反向傳播時只需對輸入引數求導，不需要進行權值更新
tanh函式：
表示式：
導數總結：
tanh是雙正切函式，tanh函式和sigmoid函式比較相近的，一般在二分類問題中，隱藏層用tanh函式啟用，輸出層用sigmoid函式啟用，不過這也不是一成不變，仍需具體問題具體分析。
relu函式：修正線性單元
表示式：
求導：x > 0：導數為1
x <= 0 : 導數為0
總結：
elu函式
表示式：
影象：**
總結：elu是針對relu的改進，從影象可以看出，為負的情況elu仍會被啟用，不過仍會有梯度飽和的問題，並帶來了指數運算。
以上所有啟用函式各有優缺點，需要我們在實際中通過實驗決定具體運用。
1 1卷積詳解
可以看作對某個區域性的加權求和 它是對應區域性感知，它的原理是在觀察某個物體時我們既不能觀察每個畫素也不能一次觀察整體，而是先從區域性開始認識，這就對應了卷積。卷積核的大小一般有1x1,3x3和5x5的尺寸。卷積核的個數就對應輸出的通道數，這裡需要說明的是對於輸入的每個通道，輸出每個通道上的卷積核是...
卷積神經網路中的1 1卷積
我們都知道，卷積核的作用在於特徵的抽取，越是大的卷積核尺寸就意味著更大的感受野，當然隨之而來的是更多的引數。早在1998年，lecun大神發布的letnet 5模型中就會出，影象空域內具有區域性相關性，卷積的過程是對區域性相關性的一種抽取。但是在學習卷積神經網路的過程中，我們常常會看到一股清流般的存...
1 卷積反向傳播
1.x 0,0 x n,c,h,w n表示樣本標號，一般是乙個batch乙個batch輸入的 0表示樣本標號為0 c 表示影象的channel 對於灰度圖來講有三個r g b h 表示影象的高 w 表示影象的寬 2.池化 mean forward 1 3 2 2 2 backward 2 0.5 0...