啟用函式是神經網路中的重要一環，也是神經網路之所以能叫「神經網路」的原因。
初中應該就學過關於神經元的知識了。神經系統的結構和功能的基本單位是神經元，
神經元的基本結構包括細胞體和突起兩部分神經元的功能是神經元接受刺激並能產生興奮（神經衝動），並能把興奮傳導到其它的神經元。也就是說其作用主要有三個：接受刺激、產生興奮、傳導興奮。關於興奮的產生，有乙個重要的概念叫做興奮閾值。
興奮閾值又稱神經元閾限（threshold of a neuron），表示產生神經衝動所需的最小刺激強度。並不是任何作用於神經元的刺激都能啟用神經元產生神經衝動，如果作用於神經元軸突上的最初刺激量太小，便不能改變細胞膜的通透性，不會引起衝動。
也就是說，只有刺激（輸入的訊號）足夠大時，神經元才會產生興奮並將其傳導下去。前邊我們介紹的感知機模型以及所謂的計算節點其實只是對輸入訊號的乙個加權組合，只是一種線性的變換，這也就決定了這種辦法解決不了線性不可分問題，不論模型有多麼複雜。
以relu函式為例，其公式和影象如下
可以看到，雖然relu有一些缺點，但是它能從一定程度上模擬神經元的工作方式，當輸入訊號較小時不產生「興奮」，只有當接受到的訊號大於0時才產生興奮給下一層
啟用函式都是非線性函式，經過啟用函式處理後，就可以將其非線性話，以此來得到更複雜的分類超平面。（可以在pc端利用這個視覺化工具自己領悟一下
）sigmod函式
tanh函式
relu函式
relu = max( 0 , x )
elu (exponential linear units) 函式
什麼是啟用函式？為什麼要使用啟用函式？
如果沒有relu等啟用函式 也叫非線性 dense層將只包含兩個線性運算 點積和加法 output dot w,input b這樣dense層就只能學習輸入資料的線性變換 仿射變換 該層的假設空間是從輸入資料到16位空間所有可能的線性變換集合。這種假設空間非常有限，無法利用多個表示層的優勢，因為多個...
常用啟用函式
優點 能夠把輸入的連續實值變換為0和1之間的輸出，如果是非常大的負數，那麼輸出就是0 如果是非常大的正數，輸出就是1。缺點 1 sigmoid函式的導數範圍是 0,0.25 導數最大都不大於1，容易引起梯度消失 2 公式包含冪運算，導致方向傳播運算速度慢 3 sigmoid函式輸出不是零中心對稱。s...
常用啟用函式
可見，啟用函式能夠幫助我們引入非線性因素，使得神經網路能夠更好地解決更加複雜的問題。s ig moid x 11 e xsigmoid x frac sigmoi d x 1 e x1 s ig moid x 11 e xsigmoid x frac sigmoi d x 1 e x1 sigmoi...