啟用函式及其各自的優缺點

2021-10-24 13:44:22 字數 328 閱讀 8391

所謂啟用函式(activation function),就是在人工神經網路的神經元上執行的函式,負責將神經元的輸入對映到輸出端。

啟用函式對於人工神經網路模型去學習、理解非常複雜和非線性的函式來說具有十分重要的作用。它們將非線性特性引入到我們的網路中。如圖,在神經元中,輸入(inputs )通過加權,求和後,還被作用在乙個函式上,這個函式就是啟用函式。

如果不用啟用函式,每一層輸出都是上層輸入的線性函式,無論神經網路有多少層,輸出都是輸入的線性組合,這種情況就是最原始的感知機(perceptron)。沒有啟用函式的每層都相當於矩陣相乘。就算你疊加了若干層之後,無非還是個矩陣

程序通訊的幾種方式及其各自優缺點

socket a 使用socket通訊的方式實現起來簡單,可以使用網際網路域和unix域來實現,使用網際網路域可以實現不同主機之間的進出通訊。b 該方式自身攜帶同步機制,不需要額外的方式來輔助實現同步。c 隨程序持續。共享記憶體 a 最快的一種通訊方式,多個程序可同時訪問同一片記憶體空間,相對其他方...

啟用函式彙總及各優缺點

如下圖,在神經元中,輸入的 inputs 通過加權,求和後,還被作用了乙個函式,這個函式就是啟用函式 如果不用啟用函式,每一層輸出都是上層輸入的線性函式,無論神經網路有多少層,輸出都是輸入的線性組合。如果使用的話,啟用函式給神經元引入了非線性因素,使得神經網路可以任意逼近任何非線性函式,這樣神經網路...

簡述TCP UDP,區別及各自優缺點

1 udp udp是面向無連線的通訊協議,udp資料報括目的埠號和源埠號資訊 優點 udp速度快,操作簡單,要求系統資源較少,由於通訊不需要連線 可實現廣播傳送 缺點 udp傳送資料前並不與對方簡歷連線,對接收到的資料也不傳送確認訊號,傳送端不知道資料是否會正確接收,也不重 送,不可靠2 tcp t...