作用：tf呼叫
公式影象
導數優點
缺點sigmoid
梯度反向傳遞時導致梯度**和梯度消失
其中梯度**發生的概率非常小
而梯度消失發生的概率比較大。
sigmoid輸出永遠是正數;非零中心
tanh
輸出（-1，1）
沒有解決「梯度消失問題」
relu
不會有梯度消失問題
輸入負數，則完全不啟用，relu函式死掉
leaky relu（lrelu）
elumaxout
softmax
1.sigmoid函式
,其中k為類別的個數。
在同乙個模型中，啟用函式不會混搭使用，選定乙個就用乙個。一般最好的經驗法則是使用relu函式，但是要謹慎的調節學習率。像lrelu，prelu，elu，maxout這些函式則實驗性強一點（實用性弱一點），但也可以試下。tanh和sigmoid就em....，算了吧。
參考：
Swish Mish 啟用函式 理解
啟用函式鼻祖sigmoid雖然現在感覺相當lj，但它的非線性表達能力其實很好，求導性質也不錯 e xe x ex求導仍是自己 最大的問題是飽和導致的梯度瀰散。而之後流行的relu啟用函式，避免了飽和問題，但非線性表達能力其實很弱，因此需要堆疊多層網路，而且求導性質也不好 y x y xy x二次求導...
機器學習核函式理解
核函式要滿足的條件稱為mercer s condition。核函式的作用就是隱含著乙個從低維空間到高維空間的對映，而這個對映可以把低維空間中線性不可分的兩類點變成線性可分的。在機器學習中常用的核函式，一般有這麼幾類，也就是libsvm中自帶的這幾類 1 線性 k v 1,v 2 v 1,v 2 2 ...
常用啟用函式（激勵函式）理解與總結
學習神經網路的時候我們總是聽到啟用函式這個詞，而且很多資料都會提到常用的啟用函式，比如sigmoid函式 tanh函式 relu函式。那麼我們就來詳細了解下啟用函式方方面面的知識。本文的內容包括幾個部分 什麼是啟用函式？啟用函式的用途 為什麼需要啟用函式 有哪些啟用函式，都有什麼性質和特點？應用中如...