每個通道上（單獨計算，最後concat），乙個batch內的所有樣例的所有畫素都參與平均。全連線中，是每個特徵位置的所有scalar數值都參與求平均；卷積層中，是每個channel是乙個特徵，所有batchsz個樣例裡面的h*w個畫素點矩陣作為全連線中的乙個元素（乙個feature上的scalar），全部放到引數裡按數值求平均值。
最後bn後的結果：
全連線：[batchsz,num_features]-->[1,num_features]
卷積層：[batchsz,[num_channels,h,w]]-->1,[num_channels],因為第0維也要參與運算，所有該特徵維度上所有樣例的對應位置數值求mean、var，這裡的位置就是指的是[h*w]。
使得每個層的梯度變大一點（depends）；每個層的梯度差不多一點，可以使用更大的學習率，這樣對權重的更新變快。
加入隨機性，batch。
反卷積層（轉置卷積）
反卷積 deconvolution 不是數字訊號處理裡面的意義，在深度學習裡面應該叫做轉置卷積 transposed convolution 又名微步卷積 fractionally strided convolutions 也有叫backward strided convolution upconv...
卷積神經網路 卷積層
1 2 該部落格主要是對網上知識點的學習和整理，方便日後複習。侵刪。卷積神經網路 cnn 一般由輸入層 卷積層 啟用函式 池化層 全連線層組成，即input 輸入層 conv 卷積層 relu 啟用函式 pool 池化層 fc 全連線層 當我們給定乙個 x 的圖案，計算機怎麼識別這個圖案就是 x 呢...
卷積神經網路 定義卷積層
import torch in channels,out channels 5,10 in 決定卷積核的channel out 決定卷積核的個數 width,hight 100,100kernel size 3 卷積核的邊長 卷積核一般為奇數邊長正方形 batch size 1input torch...