一、啟用函式的作用
啟用函式是用來加入非線性因素的，提高神經網路對模型的表達能力，解決線性模型所不能解決的問題
參考：啟用函式作用
二、啟用函式的性質
（1）單調可微
（2）限制輸出值的大小
（3）非線性
三、分類
1.線性函式
方程：f(x)=ax+b
**：def linear (x,a,b)
return a*x+b
2.sigmoid 函式
函式式：
優點(1).sigmoid函式輸出對映在[0,1]之間，輸出還可以被表示作概率，或用於輸入的歸一化
(2).sigmoid函式連續，光滑，嚴格單調，以(0,0.5)中心對稱，是乙個非常良好的閾值函式
缺點(1).sigmoid也有其自身的缺陷，最明顯的就是飽和性。從上圖可以看到，其兩側導數逐漸趨近於0
(2).輸出分布不均勻，存在偏差
**：def sigmoid (x,w=1):
return 1/(1+np.sum(np.exp(-wx))
3.雙曲正切函式
函式式：
tanh也是一種非常常見的啟用函式。與sigmoid相比，它的輸出均值是0，使得其收斂速度要比sigmoid快，減少迭代次數。然而，從途中可以看出，tanh一樣具有軟飽和性，從而造成梯度消失。
4.relu 函式
函式式：
可以看到，當x<0時，relu硬飽和，而當x>0時，則不存在飽和問題。所以，relu 能夠在x>0時保持梯度不衰減，從而緩解梯度消失問題。這讓我們能夠直接以監督的方式訓練深度神經網路，而無需依賴無監督的逐層預訓練。
參考：啟用函式
5.softmax 函式
主要用於分類問題
函式式：
softmax(x)=exp(x)/sum(exp(x))
** ：
def softmax(x):
return np.exp(x)/np.sum(np.exp(x))
四、啟用函式的選擇
一般隱層選擇leak relu,
tanh函式可以代替sigmoid函式注意觀察精確度的曲線圖
如果使用relu 函式，梯度下降演算法的學習率不能太大，
輸出層一般使用softmax獲得高概率的輸出結果
vue專案學習 2019 5 6
一 安裝node.js。1.安裝完成後，window r開啟cmd，輸入node v,顯示版本號，安裝成功。2.node.js安裝完成後自動新增環境變數。二 安裝腳手架 1.命令 npm install global vue cli 2.使用腳手架建立vue專案，命令 vue init webpac...
什麼是啟用函式？常用的啟用函式
啟用函式是神經網路中的重要一環，也是神經網路之所以能叫 神經網路 的原因。初中應該就學過關於神經元的知識了。神經系統的結構和功能的基本單位是神經元，神經元的基本結構包括細胞體和突起兩部分神經元的功能是神經元接受刺激並能產生興奮 神經衝動 並能把興奮傳導到其它的神經元。也就是說其作用主要有三個 接受刺...
啟用函式作用
在神經網路結構中，通過啟用函式將非線性的特性引入到神經網路中，從而讓神經網路可以理解 處理複雜的資料及問題。通常啟用函式的形式可以寫成 y f x 這裡的 x 是啟用函式f 的輸入，y 是 x經過啟用函式變換得到的輸出。通過f 將原來的輸入 x 對映成為另外一種形式表達y。通常在神經網路結構中常用的...