深度學習 啟用函式

啟用函式又稱「非線性對映函式」，是深度卷積神經網路中不可或缺的模組。可以說，深度網路模型強大的表示能力大部分便是由啟用函式的非線性單元帶來的。這部分共介紹7個啟用函式：sigmoid函式，tanh函式，relu函式，leaky relu函式，引數化relu，隨機化relu和指數化線性單元（elu）。

sigmoid函式也稱logistic函式：

σ (x

)=11+

exp(

−x)σ

(x)=

11+ex

p(−x

)σ(x

)=11

+exp

(−x)

σ(x)=11+exp(−x)σ(x)=11+exp(−x) \sigma(x) = \frac

σ(x)=1

1+ex

p(−x

)σ(x

)=11

+exp

(−x)

σ(x)

=1+e

xp(−

x)1​

elu(

x)={

x,λ(

exp(

x)−1

),​x

>0x

<0​

優點：elu具備relu的優點，同時elu也解決了relu函式自身「死區」問題。不過elu函式指數操作稍稍加大了工作量，實際計算中elu中超引數λ一般設定為1。

深度學習 啟用函式

如下圖，在神經元中，輸入的 inputs 通過加權，求和後，還被作用了乙個函式，這個函式就是啟用函式 activation function。啟用函式的這些特性可以很好地解釋我們為什麼要用啟用函式。函式公式和圖表如下圖 在sigmod函式中我們可以看到，其輸出是在 0,1 這個開區間內，這點很有意思...

深度學習 啟用函式

主要作用 加入非線性因素，彌補線性模型表達不足的缺陷 sigmoid函式 隨著 x xx 的趨近正 負無窮，y yy 對應的值越來越接近 1 1，趨近飽和 因此當 x xx 100 和 x xx 1000 的差別不大，這個特性丟掉了 x xx 1000 的資訊 tanh函式 對sigmoid函式的值...

深度學習之啟用函式

sigmoid啟用函式 sigmoid將乙個實數輸入對映到 0,1 範圍內，如下圖 左 所示。使用sigmoid作為啟用函式存在以下幾個問題 梯度飽和。當函式啟用值接近於0或者1時，函式的梯度接近於0。在反向傳播計算梯度過程中 l w l t l 1 f z l 每層殘差接近於0，計算出的梯度也不可...