優點：能夠把輸入的連續實值變換為0和1之間的輸出，如果是非常大的負數，那麼輸出就是0；如果是非常大的正數，輸出就是1。
缺點：（1）sigmoid函式的導數範圍是(0,0.25]，導數最大都不大於1，容易引起梯度消失
（2）公式包含冪運算，導致方向傳播運算速度慢
（3）sigmoid函式輸出不是零中心對稱。sigmoid的輸出均大於0，這就使得輸出不是0均值，稱為偏移現象，這將導致後一層的神經元將上一層輸出的非0均值的訊號作為輸入。關於原點對稱的輸入和中心對稱的輸出，網路會收斂地更好。
sigmoid函式的函式圖和導數圖
優點：（1）tanh函式梯度相對於sigmoid函式來說較大，收斂速度更快且引起梯度消失更慢。
（2）它解決了sigmoid函式的不是zero-centered輸出問題。
缺點：（1）tach函式的導數範圍是(0,1]，他們的導數最大都不大於1，仍然存在梯度消失的問題。
（2）仍然存在冪運算的問題。
tanh函式的函式圖和導數圖
relu目前是最常用的activation function，優點：
（1）relu函式的左側導數為0，右側導數恒為1，這就避免了「梯度消失「的發生
（2）計算速度非常快，只需要判斷輸入是否大於0，收斂速度遠快於sigmoid和tanh
缺點：（1）恒為1的導數容易導致「梯度**「，但設定合適的閾值可以解決這個問題（更新梯度的時候，如果梯度超過這個閾值，那麼就將其強制限制在這個範圍之內）
（2）如果左側橫為0的導數有可能導致把神經元學死，不過設定合適的步長（學習率）也可以有效避免這個問題的發生。
relu函式的函式圖和導數圖
人們為了解決dead relu problem，提出了將relu的前半段設為αx而非0，通常α=0.01。另外一種直觀的想法是基於引數的方法，即f(x)=max(αx,x)，其中α可由反向傳播算法學出來。理論上來講，leaky relu有relu的所有優點，外加不會有dead relu問題，但是在實際操作當中，並沒有完全證明leaky relu總是好於relu。
常用啟用函式
可見，啟用函式能夠幫助我們引入非線性因素，使得神經網路能夠更好地解決更加複雜的問題。s ig moid x 11 e xsigmoid x frac sigmoi d x 1 e x1 s ig moid x 11 e xsigmoid x frac sigmoi d x 1 e x1 sigmoi...
什麼是啟用函式？常用的啟用函式
啟用函式是神經網路中的重要一環，也是神經網路之所以能叫 神經網路 的原因。初中應該就學過關於神經元的知識了。神經系統的結構和功能的基本單位是神經元，神經元的基本結構包括細胞體和突起兩部分神經元的功能是神經元接受刺激並能產生興奮 神經衝動 並能把興奮傳導到其它的神經元。也就是說其作用主要有三個 接受刺...
常用啟用函式介紹
sigmod函式 函式公式和圖表如下圖 sigmod函式公式 sigmod函式圖 在sigmod函式中我們可以看到，其輸出是在 0,1 這個開區間內，這點很有意思，可以聯想到概率，但是嚴格意義上講，不要當成概率。sigmod函式曾經是比較流行的，它可以想象成乙個神經元的放電率，在中間斜率比較大的地方...