srnn學習筆記
記錄我在學習過程中受益的筆記
1.神經網路理解和實現：
2.sigmode函式求導證明：
3.梯度下降的理解:
4.rnn的理解：
筆記：1.rnn解決的是序列資料（既資料與時間之間有關聯性，下乙個時刻的資料會受到上乙個時刻影響）
2. 梯度消失問題
因為sigmoid函式和tach函式的導數都小於1，所以復合反覆求導後，梯度會越來越接近0，→梯度消失。→神經網路，增加神經元數量比多加深度效果好。
解決方法（rnn是能追根溯源的，所以解決梯度消失很重要）：1.選取更好的啟用函式（一般選用relu函式） 2. 改變傳遞結構
lstm（可以學習長期依賴資訊）
cnn卷積神經網路：
卷積→池化→全連線
上取樣–任何可以讓影象變得更高分別率的方法
卷積，池化等理解：
神經網路學習筆記
隱含層數越多，越容易擬合複雜函式 為了擬合複雜函式需要的隱含節點數目，基本上隨著隱含層數目的增加呈現指數下降的趨勢，也就是說層數越多，神經網路所需要的隱含節點可以越少。層數越深，概念越抽象，需要背誦的知識點 神經網路的隱含節點 就越少。但是，層數越多，容易出現過擬合以及引數難以除錯以及梯度瀰散的問題...
神經網路學習筆記
sigmoid函式是一種常見的擠壓函式，其將較大範圍的輸入擠壓到 0 1 區間內，其函式的表示式與形狀如下圖所示 該函式常被用於分類模型，因為其具有很好的乙個特性f x f x 1 f x 這個函式也會被用於下面的神經網路模型中做啟用函式。生物的神經網路系統中，最簡單最基本的結構是神經元。每個神經元...
神經網路 學習筆記
神經網路是用來解決分類問題的模型。他與感知機有著緊密的聯絡。神經網路中，神經元接收到的總輸入將與神經元的閾值進行比較，然後通過 啟用函式 處理以產生神經元的輸出。最理想的啟用函式是階躍函式，但是他不連續，不光滑，所以，採用sigmoid函式來進行替代。感知機只有輸出層神經元進行啟用函式處理，即只擁有...