Python人工智慧深度學習RNN模型結構流程

rnn主要特點是，在dnn隱藏層的輸出內容會被儲存，並且可以作為輸入給到下乙個神經元。

如下圖所示，當「台北」這個詞被輸入的時候，前面的詞有可能是「離開「，有可能是」到達「，如果把上一次輸入的」離開「，所得的隱藏層內容，輸入給下一層，這樣就有可能區分開是」離開台北「，還是」到達台北「。

如果隱藏層儲存的內容並給下次使用，叫做elman network

如www.cppcns.com果最終的輸出內容給下次使用，叫做jordan network

雙向rnn：從正向輸入的內容，得到的儲存內容，以及反向輸入內容得到的儲存內容，同時輸入給模型。

long short-term memory，其實當人們說到使用rnn的時候，通常都是使用的lstm。對於lstm的每乙個單元，除了輸入的資料之外，還有另外三個「門」來控制輸入，輸出，儲存。如下圖所示，如此一來，每乙個lstm單元共有4個輸入以及1個輸出。

這些控制的門都是向量，並且輸入之後都需要進行乙個sigmoid函程式設計客棧數轉換，因此輸入和門進行計算之後，得到的輸出是位於0-1之間的資料，這樣就可以實現對輸入、輸出、儲存與否的把控ehjoikjd。而門的引數都需要由rnn學習得到。

如下圖，假如輸入的是z，經過函式轉換，得到g(z)，輸入門的資料z(i)，經過乙個sigmoid函式轉換，將其相乘，得到g(z) * f(z(i))

同樣的，當控制儲存數的門得到的結果是1的時候，那麼以前的資料就會和1相乘，並於前面算的結果相加，這樣就實現了對上次儲存資料的利用。是0的時候就會刪除上次的資料，實現儲存資料的格式化。

最終得到的輸出是h(c)，但如果輸出門輸入z0後計算的結果是0，則該輸出就無法輸出，是1的時候才可以輸出。

lstm和dnn的區別，就是把神經元換成了lstm單元，輸入的資料乘上權重之後，來控制各個門。因此引數變成平常dnn引數的4倍。

將整個流程簡化來表示，如下。

實際中，lstm不只是乙個，它是多個組合，並且每乙個的輸出，以及儲存的內容也會新增到下一次的輸入當中。如下圖所示：

以上便是lstm的整體結構。