1. 原理：描述一下細胞狀態和三個門。
lstm的公式推導詳解
簡單理解lstm
lstm（長效短期記憶神經網路）是一種特殊的rnn，它能夠學習到較長的依賴關係（注意是較長，太長了也不行）。
細胞狀態和三個門結構，遺忘門，輸入輸出門。
第一步是決定從細胞狀態中丟棄什麼資訊（圖一），由「忘記門」的sigmoid層實現（0代表不通過任何資訊，1代表全部通過）。
下一步決定我們要在細胞狀態中儲存什麼資訊。具體操作分為兩部分，一是決定在細胞中更新哪些值，產生it和ct兩個新向量（圖二），然後進行計算，即上乙個狀態值ct乘以ft，再加上it*ct，得到新的候選值（圖三）；
最後輸出為ct（單元格狀態）通過tanh（將值規範化到-1和1之間），並乘以sigmoid門輸出到下乙個單元。
2. lstm變體
LSTM學習筆記
兩層的rnn y1 rnn1.step x y rnn2.step y1 長短期記憶體網路 通常只稱為 lstm 是一種特殊的rnn，能夠學習長期依賴性。lstm可以選擇性忘記不重要的資訊，只關聯重要的資訊。所有的遞迴神經網路都有乙個神經網路的重複模組鏈的形式。在lstm中，這個重複模組有4層。ls...
暑期學習 LSTM 筆記
前言 在 rnn 的基礎上網路進化到 lstm。回憶 rnn 相關思想請點 這裡。lstm，long short term memory networks 是一種特殊的 rnn 迴圈神經網路，避免長期依賴問題。在很多情況下，lstm 比標準的 rnn 表現要出色。lstm 網路比 rnn 多了乙個 ...
LSTM學習腳步
入門 colah s blog andrej karpathy blog 18個權重分別使用8個不同的卷積進行生成。實現了多層lstm。首先對每層的h和c進行初始化。對於同乙個時間step的不同層，前一層的h層輸出作為下一層的輸入。寫的挺好，只是沒有訓練方法。首先在第乙個時間序列的每個隱藏層之間傳遞...