在深度神經網路中，通常使用一種叫修正線性單元(rectified linear unit，relu）作為神經元的啟用函式。
relu函式其實是分段線性函式，把所有的負值都變為0，而正值不變，這種操作被成為單側抑制。可別小看這個簡單的操作，正因為有了這單側抑制，才使得神經網路中的神經元也具有了稀疏啟用性。尤其體現在深度神經網路模型(如cnn)中，當模型增加n層之後，理論上relu神經元的啟用率將降低2的n次方倍。
通過relu實現稀疏後的模型能夠更好地挖掘相關特徵，擬合訓練資料。
相比於其它啟用函式來說，relu有以下優勢：對於線性函式而言，relu的表達能力更強，尤其體現在深度網路中；而對於非線性函式而言，relu由於非負區間的梯度為常數，因此不存在梯度消失問題(vanishing gradient problem)，使得模型的收斂速度維持在乙個穩定狀態。這裡稍微描述一下什麼是梯度消失問題：當梯度小於1時，**值與真實值之間的誤差每傳播一層會衰減一次，如果在深層模型中使用sigmoid作為啟用函式，這種現象尤為明顯，將導致模型收斂停滯不前。
深度學習筆記
如果沒有啟用函式，或則是線性啟用函式，g z z,那麼在深度神經網路中，相當於都做的是線性變換，多個線性變換的組合還是線性變換。這樣的結果和邏輯回歸沒什麼區別，也就是說，這種情況下，無論神經網路的深度有多深，也就等價於乙個一層的網路，隱藏層沒什麼作用。因此需要非線性啟用函式。1.什麼時候插入，ski...
深度學習筆記
tensorflow 不僅是乙個實現機器學習演算法的介面，也是一種框架，也可用於線性回歸 邏輯回歸 隨機森林等演算法 tensorflow 使用資料流圖來規劃計算流程，每個運算操作作為乙個節點 node，節點之間的連線稱為邊，邊中流動的資料稱為張量，故而得名 tensorflow，預算操作可以有自己...
深度學習筆記
python環境搭建 anaconda 搭建numpython matplotilb 混淆矩陣 tp真正例 分類器 正確真的 fn假反例 分類器把假當真 fp假正例 分類器把真當假 tn真反例 分類器 正確假的查準率p tp tp fp 查全率r tp tp fn p與r猶如魚與熊掌不可兼得，呈負相...