許多重要問題都可以抽象為變長序列學習問題（sequence to sequence learning），如語音識別、機器翻譯、字元識別。這類問題的特點是，1) 輸入和輸出都是序列（如連續值語音頻號/特徵、離散值的字元），2) 序列長度都不固定，3)並且輸入輸出序列長度沒有對應關係。因此，傳統的神經網路模型（dnn， cnn， rnn）不能直接以端到端的方式解決這類問題的建模和學習問題。
解決變長序列的端到端學習，目前有兩種主流的思路：一種是 ctc （connectionist temporal classification，連線時序分類）；另一種是 encoder-decoder（以下簡稱 en-de）的思路。ctc 最早用於手寫體字元識別上[19]，並且一度是語音識別的研究熱點[20-23]。這裡，我們關注的是後一種思路。
變長序列學習的 en-de 方法中，本文重點關注 google 和 yoshua bengio 兩個團隊的工作。這兩個團隊這個方向上研究都比較早，也分別能代表性工業界和學界的風格。
下面首先介紹 google 的 seq2seq 模型，然後介紹 bengio 團隊的 rnnenc 模型。可以看到兩種模型基本思路一致，但在具體細節上，有著顯著的不同。至於 attention-base encoder-decoder，則會在將來另文討論。
深度學習 神經網路筆記
rnn 遞迴神經網路 一 神經網路的種類 基礎神經網路 單層感知機，執行緒神經網路，bp神經網路，hopfield神經網路等 高階神經網路 玻爾茲曼機，受限玻爾茲曼機，遞迴神經網路等 深度神經網路 深度置信網路，卷積神經網路，迴圈神經網路，lstm聖經網路等 一 感知機 svm 有n個輸入資料，通過...
機器學習，深度學習，神經網路，深度神經網路
先來說一下這幾者之間的關係 人工智慧包含機器學習，機器學習包含深度學習 是其中比較重要的分支 深度學習源自於人工神經網路的研究，但是並不完全等於傳統神經網路。所以深度學習可以說是在傳統神經網路基礎上的公升級。神經網路一般有輸入層 隱藏層 輸出層，一般來說隱藏層大於2的神經網路就叫做深度神經網路，深度...
深度學習 深度神經網路
神經網路是由乙個個神經元相互連線並按層次排列構成的，深度神經網路是有任意層的神經網路，這裡的深度是指層次的多，而不是神經元數量的多。有任意層，那麼就要有乙個迴圈來負責遍歷每一層進行計算。所以深度神經網路的計算形式，就必須要適應這個迴圈結構。我們先來說說神經元吧 對於多神經元神經網路，其實也是一樣的。...