rnn迴圈神經網路，具有處理序列資料的能力，也就是前面的資料跟後面的資料出現順序是有關係的。
以下內容來自：
我 昨天 上學 遲到 了神經網路的輸出如下圖所示：
其中，s和e是兩個特殊的詞，分別表示乙個序列的開始和結束。
使用這種向量化方法，我們就得到了乙個高維、稀疏的向量（稀疏是指絕大部分元素的值都是0）。處理這樣的向量會導致我們的神經網路有很多的引數，帶來龐大的計算量。因此，往往會需要使用一些降維方法，將高維的稀疏向量轉變為低維的稠密向量。不過這個話題我們就不再這篇文章中討論了。
語言模型要求的輸出是下乙個最可能的詞，我們可以讓迴圈神經網路計算計算詞典中每個詞是下乙個詞的概率，這樣，概率最大的詞就是下乙個最可能的詞。因此，神經網路的輸出向量也是乙個n維向量，向量中的每個元素對應著詞典中相應的詞是下乙個詞的概率。如下圖所示：
RNN與語言模型
語言模型是給乙個句子分配概率的任務，例如 看到 the lazy dog barked loadly 的概率有多大呢？語言模型對機器翻譯有用，比如在單詞順序的選擇問題上，語言模型得到句子 the cat is samll 的概率應該大於 small the is cat 的概率。當前很難為所有可能的...
用 RNN 建立語言模型
今天來看迴圈神經網路的乙個重要的應用 語言模型。什麼是語言模型？語言模型的應用？為什麼用基於 rnn 的語言模型？rnn 是如何實現語言模型的？rnn 是如何實現 character level 語言模型的？character level 語言模型的具體應用 生成莎士比亞風格的文字 語言模型，它的任...
RNN系列之三 RNN簡單應用
將以語言模型進行分析。建立語言模型所採用的訓練集是乙個大型的語料庫 corpus 建立過程中，需要先建立乙個字典，之後將語料庫中每個詞表示為對應的one hot向量。此外需要額外定義乙個標記eos end of sentence 表示乙個句子的結尾，也可以將其中的標點符號加入字典後也用one hot...