兩層的rnn：
y1 = rnn1.step(x)
y = rnn2.step(y1)
lstm的第二步是判斷要在細胞狀態中儲存什麼新的資訊。由兩部分組成，包括乙個叫做「input gate layer」的sigmoid層決定需要更新什麼內容；和乙個tanh層建立需要被加入現在state的結果向量。
lstm的第三步是根據自身input以及要不要忘記衡量自己的價值，最終傳遞到output layer，決定輸出。
對於不確定性很高的內容（語音識別、手寫識別），lstm非常重要。
介紹部落格：傳送門
訓練**部落格：傳送門
bilstm是bi-directional long short-term memory的縮寫，是由前向lstm與後向lstm組合而成。lstm模型可以捕捉到較長距離的依賴關係，但是無法捕捉反向的語義依賴（e.g. 」這個餐廳髒得不行「，「不行」修飾的是「髒」）。bi-lstm可以解決這個問題。
對「我愛中國」進行編碼：
介紹與計算部落格：傳送門
LSTM學習筆記
1.原理 描述一下細胞狀態和三個門。lstm的公式推導詳解 簡單理解lstm lstm 長效短期記憶神經網路 是一種特殊的rnn，它能夠學習到較長的依賴關係 注意是較長，太長了也不行 細胞狀態和三個門結構，遺忘門，輸入輸出門。第一步是決定從細胞狀態中丟棄什麼資訊 圖一 由 忘記門 的sigmoid層...
暑期學習 LSTM 筆記
前言 在 rnn 的基礎上網路進化到 lstm。回憶 rnn 相關思想請點 這裡。lstm，long short term memory networks 是一種特殊的 rnn 迴圈神經網路，避免長期依賴問題。在很多情況下，lstm 比標準的 rnn 表現要出色。lstm 網路比 rnn 多了乙個 ...
LSTM學習腳步
入門 colah s blog andrej karpathy blog 18個權重分別使用8個不同的卷積進行生成。實現了多層lstm。首先對每層的h和c進行初始化。對於同乙個時間step的不同層，前一層的h層輸出作為下一層的輸入。寫的挺好，只是沒有訓練方法。首先在第乙個時間序列的每個隱藏層之間傳遞...