如果沒有啟用函式，或則是線性啟用函式，g(z)=z, 那麼在深度神經網路中，相當於都做的是線性變換，多個線性變換的組合還是線性變換。這樣的結果和邏輯回歸沒什麼區別，也就是說，這種情況下，無論神經網路的深度有多深，也就等價於乙個一層的網路，隱藏層沒什麼作用。
因此需要非線性啟用函式。
1.什麼時候插入，skip connection
2.如果skip connection的兩層維度不一樣，或者寬度不一樣，怎麼辦？
維度不一樣，通過乙個ws來改變 ，如a[l+2] 與 a[l] 維度不一樣 ，可以使ws*a[l]與a[l+2]一樣，ws是網路通過學習得到的矩陣或引數，是乙個固定大小的矩陣，padding=0
3.殘差網路為什麼有用？
因為relu(a)>=0，
l2正則化會將w變小
從下圖中可知，當w[l+2]a[l+1]+b[l+2]=0時，a[l+2]=a[l]，即這兩層變成了乙個恒等對映，而不是會變成a[l+2]=0
即殘差網路學習恒等對映時很容易的，而普通網路不是
即殘差網路至少能保證網路的效率，不會變得更差，，如果學到了一些有用的東西，就能使得網路變得更好
他給網路新增了乙個非線性函式，可以對層進行降維或公升維，減少或新增資料量
深度學習筆記
在深度神經網路中，通常使用一種叫修正線性單元 rectified linear unit，relu 作為神經元的啟用函式。relu函式其實是分段線性函式，把所有的負值都變為0，而正值不變，這種操作被成為單側抑制。可別小看這個簡單的操作，正因為有了這單側抑制，才使得神經網路中的神經元也具有了稀疏啟用性...
深度學習筆記
tensorflow 不僅是乙個實現機器學習演算法的介面，也是一種框架，也可用於線性回歸 邏輯回歸 隨機森林等演算法 tensorflow 使用資料流圖來規劃計算流程，每個運算操作作為乙個節點 node，節點之間的連線稱為邊，邊中流動的資料稱為張量，故而得名 tensorflow，預算操作可以有自己...
深度學習筆記
python環境搭建 anaconda 搭建numpython matplotilb 混淆矩陣 tp真正例 分類器 正確真的 fn假反例 分類器把假當真 fp假正例 分類器把真當假 tn真反例 分類器 正確假的查準率p tp tp fp 查全率r tp tp fn p與r猶如魚與熊掌不可兼得，呈負相...