神經網路的傳播會使用到非線性對映，利用的就是一些啟用函式：
特點：x很大/很小時，函式值會陷入飽和區（函式值為0/1）；
神經網路反向傳播時，涉及到啟用函式的導數，會導致梯度消失；
影象可以看出，sigmoid函式值非0均值；
指數計算代價比較大。
特點：0均值；
有梯度飽和區；
指數計算代價大；
特點：x>0的區域，沒有梯度飽和和梯度消失的現象；
計算代價小；
非0均值；
dead relu：x<0的區域，函式值為0，該神經元「死亡」；梯度為0，神經網路的引數不會被更新。
leaky relu：
相當於在relu的基礎上新增了乙個斜率，解決relu的dead relu問題。
這裡的
（引數）可以通過神經網路來調整。
深度學習 啟用函式
如下圖，在神經元中，輸入的 inputs 通過加權，求和後，還被作用了乙個函式，這個函式就是啟用函式 activation function。啟用函式的這些特性可以很好地解釋我們為什麼要用啟用函式。函式公式和圖表如下圖 在sigmod函式中我們可以看到，其輸出是在 0,1 這個開區間內，這點很有意思...
深度學習 啟用函式
主要作用 加入非線性因素，彌補線性模型表達不足的缺陷 sigmoid函式 隨著 x xx 的趨近正 負無窮，y yy 對應的值越來越接近 1 1，趨近飽和 因此當 x xx 100 和 x xx 1000 的差別不大，這個特性丟掉了 x xx 1000 的資訊 tanh函式 對sigmoid函式的值...
深度學習 啟用函式
啟用函式又稱 非線性對映函式 是深度卷積神經網路中不可或缺的模組。可以說，深度網路模型強大的表示能力大部分便是由啟用函式的非線性單元帶來的。這部分共介紹7個啟用函式 sigmoid函式，tanh函式，relu函式，leaky relu函式，引數化relu，隨機化relu和指數化線性單元 elu si...