Deep learning系列(七)啟用函式

2021-07-14 03:03:35 字數 732 閱讀 9189

sigmoid將乙個實數輸入對映到[0,1]範圍內,如下圖(左)所示。使用sigmoid作為啟用函式存在以下幾個問題:

因為上面兩個問題的存在,導致引數收斂速度很慢,嚴重影響了訓練的效率。因此在設計神經網路時,很少採用sigmoid啟用函式。

tanh函式將乙個實數輸入對映到[-1,1]範圍內,如上圖(右)所示。當輸入為0時,tanh函式輸出為0,符合我們對啟用函式的要求。然而,tanh函式也存在梯度飽和問題,導致訓練效率低下。

relu啟用函式(the rectified linear unit)表示式為:f(

x)=m

ax(0

,x) 。如下圖(左)所示:

相比sigmoid和tanh函式,relu啟用函式的優點在於:

因此,relu啟用函式可以極大地加快收斂速度,相比tanh函式,收斂速度可以加快6倍(如上圖(右)所示)。

參考資料: 

1. 2. krizhevsky a, sutskever i, hinton g e. imagenet classification with deep convolutional neural networks. nips. 2012: 1097-1105.

Deep learning系列(七)啟用函式

sigmoid將乙個實數輸入對映到 0,1 範圍內,如下圖 左 所示。使用sigmoid作為啟用函式存在以下幾個問題 因為上面兩個問題的存在,導致引數收斂速度很慢,嚴重影響了訓練的效率。因此在設計神經網路時,很少採用sigmoid啟用函式。tanh函式將乙個實數輸入對映到 1,1 範圍內,如上圖 右...

Deep Learning 學習筆記整理系列之四

九 deep learning的常用模型或者方法 9.1 autoencoder自動編碼器 deep learning最簡單的一種方法是利用人工神經網路的特點,人工神經網路 ann 本身就是具有層次結構的系統,如果給定乙個神經網路,我們假設其輸出與輸入是相同的,然後訓練調整其引數,得到每一層中的權重...

Deep Learning 學習筆記整理系列之五

9.2 sparse coding稀疏編碼 如果我們把輸出必須和輸入相等的限制放鬆,同時利用線性代數中基的概念,即o a1 1 a2 2 an n,i是基,ai是係數,我們可以得到這樣乙個優化問題 min i o 其中i表示輸入,o表示輸出。通過求解這個最優化式子,我們可以求得係數ai和基 i,這些...