這是乙個4層網路隨著bp演算法每層激勵輸出的情況，對於這張圖可以理解的資訊如下：
1 紅線在前一百次的訓練結果基本一致，可能的情況是第一層的權值變化太小，也就是說後向傳播的誤差資訊很難反饋到這一層;
2 綠線和藍線的變化幅度反映了後向誤差資訊隨著層數的增加，其變化越小;
3 對於黑線的情況最奇怪：
(1)方差基本為0，也就是說輸入層的差異資訊在抵達第4層時候基本就沒有了
(2)均值快速被壓縮為0，也就說輸出層的輸入 wx+b 近似只有 b了， 也就是說所有的輸出情況的差異只有第4層的bias來決定
4 對於100～120的情況：
(1)黑色線的均值略微提高，方差變化增加，但是綠線和藍線的方差變小，說明後向傳播的誤差資訊能夠在4層這裡反映了;
5 120以後，各層方差顯著增加，尤其是紅線
6 140時候，前三層的均值都為0.5左右，也就是說不同的輸入的差異資訊在每層的激勵的均值上是無法反饋的(由方差放映);方差隨著層數的增加而減小，說明輸入資訊隨著層數的增加而「消散」，也就是說，網路的深度的加大不僅僅是後向的誤差資訊會消散，前向的輸入資訊也會消散;
為什麼會出現這種情況？
續。。。
深度學習 深度神經網路
神經網路是由乙個個神經元相互連線並按層次排列構成的，深度神經網路是有任意層的神經網路，這裡的深度是指層次的多，而不是神經元數量的多。有任意層，那麼就要有乙個迴圈來負責遍歷每一層進行計算。所以深度神經網路的計算形式，就必須要適應這個迴圈結構。我們先來說說神經元吧 對於多神經元神經網路，其實也是一樣的。...
深度學習 深度前饋網路
1 學習xor 2 基於梯度的學習 3 隱藏單元 4 架構設計 5 反向傳播 和其他微分演算法 6 歷史小計 reference 原文 joselynzhao.top 夏木青 深度前饋網路 資訊流過 x 的函式，流經用於 定義 f 的中間計算過程，最終到達輸出 y。前饋神經網路被稱作網路 netwo...
深度學習 深度網路 backbone 含義
q 深度學習的 中網路都會有backbone，這個是什麼意思呢？關注用的什麼backbone意義是什麼呢？比如某篇 backbone用的resnet，這代表什麼呢？a backbone這個單詞原意指的是人的脊梁骨，後來引申為支柱，核心的意思。在神經網路中，尤其是cv領域，一般先對影象進行特徵提取 常...