和大佬學習：
沐風：googlenet v1的計算量和參數量精算表zhuanlan.zhihu.com
michael yuan：卷積神經網路的複雜度分析zhuanlan.zhihu.com
以及資料量運算，和運算時間。
首先簡單介紹下概念
卷積過程
單個神經元的卷積過程
如上圖，首先從一維擴充套件到了二維。但是有和二維全連線不同的地方是：
所以有公式如下：
二維卷積公式
2.1 卷積層的反向傳播基本的思路：反向傳播的時候要對權重和偏執求偏導數，也就是對卷積核和bias求導。
看的頭疼：先放一放，準備別的了。
解釋：當然呢，這只是最基本的用來理解卷積的過程。如果是乙個完整的過程還需要接下來繼續寫。這裡稍微寫一下參數量的計算：
3.1 首先是參數量的計算
googlenet的參數量
每一層的參數量只考慮weight，而不考慮bias。所以參數量為 （
為每一層的隱層數）：
3.2 空間複雜度（訪存量），嚴格來講包括兩部分：總參數量 + 各層輸出特徵圖。
3.3 單層時間複雜度
3.4 整體的時間複雜度
caffe 前向傳播和反向傳播
caffe學習筆記3從3.1開始主要翻譯一下caffe的官方文件，寫的非常好，忍不住要作一下。本篇翻譯來自caffe官網的 前向傳播和反向傳播是計算神經網路非常重要的部分。考慮乙個簡單的邏輯回歸分類問題 前向傳播 通過網路的輸入計算輸出結果的過程，在前向傳播中，caffe整合每一層的計算得到整個模型...
4 2 前向傳播和反向傳播
假設輸入 輸出 快取 從實現的角度來說快取 更容易在不同的環節呼叫函式。向量化實現過程可以寫成 前向傳播需要餵入資料 也就是x來初始化。對於多層神經網路，在計算從第1層到第l層時，只能使用for迴圈來實現。輸入 d 輸出 d d d 所以反向傳播的步驟可以寫成 前四個式子用於實現反向傳播，式子 5 ...
前向傳播和反向傳播 手撕 神經網路反向傳播
神經網路前向傳播一般用於搭建整個神經網路的結構框架，形成整個網路的邏輯通路。反向傳播用於更新每層之間的權重，減少損失，進而提公升 準確度。下面是乙個神經網路的結構圖 第一層是輸入層，包含兩個神經元i1，i2，和截距項b1 第二層是隱含層，包含兩個神經元h1,h2和截距項b2，第三層是輸出o1,o2，...