1.非線性： 當啟用函式是線性的時候，乙個兩層的神經網路就可以逼近基本上所有的函式了。但是，如果啟用函式是恒等啟用函式的時候（即f(x)=x），就不滿足這個性質了，而且如果mlp使用的是恒等啟用函式，那麼其實整個網路跟單層神經網路是等價的。
2.可微性： 當優化方法是基於梯度的時候，這個性質是必須的。
3.單調性： 當啟用函式是單調的時候，單層網路能夠保證是凸函式。
f(x)≈x： 當啟用函式滿足這個性質的時候，如果引數的初始化是random的很小的值，那麼神經網路的訓練將會很高效；如果不滿足這個性質，那麼就需要很用心的去設定初始值。
4.輸出值的範圍： 當啟用函式輸出值是 有限 的時候，基於梯度的優化方法會更加 穩定，因為特徵的表示受有限權值的影響更顯著；當啟用函式的輸出是 無限 的時候，模型的訓練會更加高效，不過在這種情況小，一般需要更小的learning rate.
常用的啟用函式有如下:
神經網路中常用的啟用函式
修正線性單元，是最常用的非線性對映函式。常在神經網路隱層中使用，因為它在反向傳播中計算導數十分方便。導數為 relu的 軟化版 導數為 同樣將單個輸入值對映到 0,1 之間，但函式是對稱的。求導也很方便，導數為 將一層的輸出的多個值歸一化，通常在 各個類別的概率時用到，而且一般用在輸出層。圖類似於s...
神經網路中常見的啟用函式
一 背景 為什麼要使用啟用函式？之前其實也有點困惑，最近整理了一下之前的筆記，總結一下。首先是第乙個問題 為什麼要使用啟用函式以及它的作用是什麼？使用啟用函式的原因在於，以兩類資料的分類為例，這些資料真正能線性可分的情況還是比較少的，此時如果資料不是線性可分的我們又該如何分類呢？這個時候我們就無法再...
神經網路常用的啟用函式
1 恒等函式 f z i z z 2 sigmoid 函式 這個函式通常是用在返回0到1之間的值 f z 1 1 exp z 3 tanh 雙曲正切 啟用函式 雙曲正切是一條 1 1的s形曲線 f z tanh z 影象如圖 4 relu 整流線性單元 啟用函式 f z max 0,z python...