深度學習 啟用函式 損失函式 優化函式的區別

2021-09-27 03:16:00 字數 276 閱讀 1907

啟用函式:將神經網路上一層的輸入,經過神經網路層的非線性變換轉換後,通過啟用函式,得到輸出。常見的啟用函式包括:sigmoid, tanh, relu等。

損失函式:度量神經網路的輸出的**值,與實際值之間的差距的一種方式。常見的損失函式包括:最小二乘損失函式、交叉熵損失函式、回歸中使用的smooth l1損失函式等。

優化函式:也就是如何把損失值從神經網路的最外層傳遞到最前面。如最基礎的梯度下降演算法,隨機梯度下降演算法,批量梯度下降演算法,帶動量的梯度下降演算法,adagrad,adadelta,adam等。

深度學習 啟用函式 損失函式 優化函式的區別

啟用函式 將神經網路上一層的輸入,經過神經網路層的非線性變換轉換後,通過啟用函式,得到輸出。常見的啟用函式包括 sigmoid,tanh,relu等。損失函式 度量神經網路的輸出的 值,與實際值之間的差距的一種方式。常見的損失函式包括 最小二乘損失函式 交叉熵損失函式 回歸中使用的smooth l1...

深度學習筆記 三 啟用函式和損失函式

深度學習筆記 一 logistic分類 深度學習筆記 二 簡單神經網路,後向傳播演算法及實現 深度學習筆記 三 啟用函式和損失函式 深度學習筆記 優化方法總結 bgd,sgd,momentum,adagrad,rmsprop,adam 深度學習筆記 四 迴圈神經網路的概念,結構和 注釋 深度學習筆記...

深度學習損失函式

在利用深度學習模型解決有監督問題時,比如分類 回歸 去噪等,我們一般的思路如下 在第2步中,我們通常會見到多種損失函式的定義方法,常見的有均方誤差 error of mean square 最大似然誤差 maximum likelihood estimate 最大後驗概率 maximum poste...