神經網路的啟用函式作用是將輸入訊號經過非線性計算輸出傳遞給下乙個節點。常見的啟用函式有這麼三種，分別是relu啟用函式，sigmoid啟用函式和tanh啟用函式。
上述三種常用的啟用函式的優缺點如下：
sigmoid啟用函式和tanh啟用函式在z特別大或者特別小的情況下，導數的梯度或者函式的斜率會變得特別小，最後就會接近於 0，導致降低梯度下降的速度。但是tanh啟用函式效果總是優於 sigmoid 函式。因為函式值域在-1 和+1的啟用函式，tanh函式均值是更接近零均值的。在訓練乙個演算法模型時，如果使用 tanh 函式代替sigmoid 函式中心化資料，使得資料的平均值更接近 0 而不是 0.5。此外如果是輸出乙個二分類問題，那麼輸出層可以採用sigmoid啟用函式使得輸出只有0和1，而不是-1和1。relu啟用函式是乙個效能比較好的啟用函式，其不會因為z過大或者過小而產生梯度瀰散問題，而且relu比sigmoid和tanh學習更快。
快速概括一下不同啟用函式的過程和結論：
sigmoid 啟用函式：除了輸出層是乙個二分類問題基本不會用它，但是sigmoid函式求導容易，單調連續，優化穩定，會梯度消失。
tanh 啟用函式：tanh 是非常優秀的，幾乎適合所有場合，比sigmoid收斂速度快，會梯度消失。
relu 啟用函式：最常用的預設函式，，如果不確定用哪個啟用函式，就使用 relu。
attention：
當你隨機初始化權重矩陣或者偏差矩陣的過程中，最好能將最後初始化的權重矩陣或者偏差矩陣再乘以0.01，通常傾向於初始化為很小的隨機數，因為如果你採用了sigmoid或者tanh作為啟用函式，當你的權重初始值或者偏差矩陣初始化值很大，最後根據公式
神經網路啟用函式
2018,jul 23 學了深度學習也快近一年了，在學deep learning的時候什麼教程都去看，起初學起來也特別的雜亂，前面的基礎沒弄懂還一直往下學，自然導致我學到後面的時候有點崩潰什麼都看不懂，並且因為自己還是一名在校生，平常課程也非常多，沒有乙個連續的學習時間也導致我的學習是斷斷續續，在學...
啟用函式 神經網路
andrew的 neural networks and deep learning 課程學習筆記 如圖所示，是乙個簡單的三層神經網路，如果只使用線性啟用函式或者恒等啟用函式 不使用啟用函式 那麼神經網路的輸出就只是輸入函式的線性變化，因為線性啟用函式的組合依然是線性啟用函式。這種情況下，不管使用多少...
神經網路啟用函式
1.sigmoid sigmoid散活函式是將 乙個實數輸入轉化至 0 1 之間的輸出，具體來說也就是將越大的負數轉化到越靠近 0 越大的正數轉化到越靠近1。多用於二分類。缺點 1 sigmoid 函式會造成梯度消失。乙個非常不好的特點就是 sigmoid 函式在靠近 1和0 的兩端時，梯度會幾乎變...