曾經因為新冠肺炎疫情的原因得到了乙個超長假期，但是我沒有好好珍惜。等到快開學的時候我才追悔莫及，如果上天再給我一次機會我一定會好好學習，天天向上，不睡懶覺，勤勉讀書，勵精圖治，奮發圖強。
誠惶誠恐地上一波學習筆記。
迴圈神經網路（recurrent neural network）的作用：對於一些不僅依賴於當前情況還依賴於過去情況的問題，傳統神經網路無法處理很好地處理，基於記憶的神經網路模型必不可少。
rnn的原理：基於記憶模型的想法，期望網路能夠記住前面出現的特徵，並根據前面的特徵推斷出後面的結果，並且整個神經網路可以不斷的迴圈。
rnn模型結構：
無論輸入的序列有多長，都能夠不斷輸入網路最終得到結果，這裡使用引數共享的概念，表示如下圖：
rnn缺點：更清楚地記得最近發生的事情而遺忘很久之前的事情。
lstm由輸入門，輸出門，遺忘門三個門來控制。 正是由於遺忘門的作用使得lstm具備了長時記憶的功能，對於給定的任務，遺忘門能夠自己學習保留多少以前的記憶，這使得網路能夠自主學習。網路具體能夠學習到保留多少記憶是由前一時刻的輸出和這一時刻的輸入共同決定的。
gru與lstm本質上是相同的，不同的是ｇｒｕ將遺忘門和輸入門合成乙個更新門，線性變換沒有使用偏置。
後記：１.ｒｎｎ在訓練時梯度的微小變化會在迴圈的結構之後被放大，設定乙個固定的學習率並不能有效的收斂。梯度裁剪能夠將放大的梯度裁剪掉，在一定程度上避免收斂不好的問題。
２.迴圈神經網路不適合處理，因為沒有很強的序列關係，並且迴圈神經網路在傳遞時必須前面乙個資料計算結束才能進行後面乙個資料的計算，對於大而言是很慢的。
神經網路學習筆記 04 迴圈神經網路演算法解釋
本文是根據wildml的recurrent neural networks tutorial寫的學習筆記。先看看計算公式 x e ex t z sigma u zx e w zs b z r sigma u rx e w rs b r h tanh u hx e w h s circ r b h s...
迴圈神經網路學習
1.迴圈神經網路的應用 2.迴圈神經網路vs卷積神經網路 迴圈神經網路所做的任務 rnn和cnn的區別 1.基本結構 隱層的資料被存入到乙個 記憶 單元中 存在 記憶 中的資料會被作為另外乙個輸入與原始輸入一起輸入到神經網路中。2.深度rnn 3.雙向rnn 結構 優勢 當需要判斷乙個詞的語義時，需...
迴圈神經網路 機器學習 迴圈神經網路知識要點
迴圈神經網路特點是可以挖掘出資料序列之間的關係資訊，實際使用中每乙個樣本的輸入是資料序列，也就是一系列的資料，其中的每個資料是乙個時間步。rnn層也是由乙個或者多個神經元組成的，每個神經元的輸入由兩部分構成，一部分是序列資料中的某乙個資料，另一部分是這個資料的前乙個資料經過迴圈層神經元時，神經元輸出...