迴圈神經網路的主要用途是處理和**序列資料。
從網路結構上，迴圈神經網路會記憶之前的資訊，並利用之前的資訊影響後面節點的輸出。
引數共享思想：由於模組a中的運算和變數在不同時刻是相同的，因此迴圈神經網路理論上可以看作是同一神經網路被無限複製的結果。迴圈神經網路在不同的位置共享引數，從而使有限的引數處理任意長度的序列。
將迴圈神經網路對長度為n的序列展開後，可視為乙個有著n個中間層的前饋神經網路。對於乙個序列資料，可以將這個序列上不同時刻的資料依次傳入迴圈神經網路的輸入層，輸出時可以是對下乙個時刻的**，也可以是對當前時刻資訊處理的結果。迴圈神經網路要求每乙個時刻都有乙個輸入，但不一定每個時刻都需要有輸出。
機器翻譯的網路結構可以分為兩部分：encoder和decoder。簡單描述一下機器翻譯的過程，假設機器翻譯的的句子是abcd，那麼迴圈神經網路的第乙個時刻的輸入分別是a、b、c、d，然後用第乙個 _ 作為開始翻譯的提示符。在翻譯的過程中每乙個時刻的輸入都是上乙個時刻的輸出，當**輸出為 _ 時翻譯結束，得到的xyz就是abcd的翻譯結果。
RNN的引數共享
rnn簡介 迴圈神經網路是一類用於處理序列資料的神經網路。就像卷積網路是專門處理網格化資料x 如乙個影象 的神經網路，迴圈神經網路是專門用於處理序列x 1 x 的神經網路。正如卷積網路可以很容易地擴充套件到具有很大寬度和高度的影象，以及處理大小可變的影象，迴圈網路可以擴充套件到更長的序列，且大多數迴...
神經網路的引數展開
注 本文是學習吳恩達老師的學習筆記 1.在matlab中如果使用fminunc找出最優引數的話需要傳遞引數initialtheta，但是initialtheta是向量的形式。同時costfunction返回的梯度也是vector的形式。2.而神經網路每層的引數都是以矩陣的形式列出來，而且每層引數對成...
使用RNN解決句子對匹配問題的常見網路結構
author 張俊林 除了序列標註問題外，句子對匹配 sentence pair matching 問題也是 nlp中非常常見的一類問題，所謂 句子對匹配 就是說給定兩個句子s1和 s2，任務目標是判斷這兩個句子是否具備某種型別的關係。如果形式化地對這個問題定義，可以理解如下 意思是給定兩個句子，需...