背景：
迴圈神經網路是一類以序列資料為輸入，在序列的演進方向進行遞迴且所有節點按鏈式連線的遞迴神經網路。
對迴圈神經網路的研究始於二十世紀80-90年代，並在二十一世紀初發展為深度學習演算法之一，其中雙向迴圈神經網路和長短期記憶網路（是常見的的迴圈神經網路。
迴圈神經網路具有記憶性、引數共享並且圖靈完備因此在對序列的非線性特徵進行學習時具有一定優勢。迴圈神經網路在自然語言處理，例如語音識別、語言建模、機器翻譯等領域有應用，也被用於各類時間序列預報。引入了卷積神經網路構築的迴圈神經網路可以處理包含序列輸入的計算機視覺問題。
應用：語音問答、****、作詞機、模仿寫**、模仿寫**。
傳統神經網路、卷積神經網路：輸入和輸出之間是相互獨立
迴圈神經網路：可以更好地處理上下文具有時序關係的任務
引入「記憶」的概念
輸出不僅依賴於輸入，還依賴於記憶
將同乙個結構迴圈利用
基本組成結構
傳統結構對於一些問題，只能處理當前輸入，不能夠結合之前的輸入資訊進行處理，所以神經網路需要「記憶」
深度rnn
模型深度比較深的時候，特徵表示能力也比較強
雙向rnn
迴圈神經網路基本結構小結：
隱層狀態h可以被看作是「記憶」，因為它包含了之前時間點上的相關資訊
輸出y不僅由當前的輸入所決定，還會考慮到之前的「記憶「。由兩者共同決定
rnn在不同時刻共享同一組引數（u,w,v），極大的減小了需要訓練和預估的參數量
bptt演算法
long short-term memory(長短期記憶模型)
傳統rnn與lstm的不同
直觀理解引數：
lstm和gru的對比：
擴充套件：
什麼是attention？
是受到人類注意力機制的啟發，人們在進行觀察影象的時候，不是一次就把整幅影象的每個位置畫素都看過，大多是根據需求將注意力集中到影象的特定部分。而人類會根據之前觀察的影象學習到未來要觀察影象注意力應該集中的位置。
第四周 卷積神經網路 part3
語音問答 機器翻譯 作詞 作詩 模仿寫 模仿寫 影象理解 視覺問答 note 傳統神經網路不考慮上下文關係 迴圈神經網路考慮的核心問題 上下文關係 時序 目標 考慮更多的上下文 迴圈神經網路模仿寫 寫 更多的是模仿其中的格式 比如公式居接下來要換行，if下面跟else等 但是讀起來可能是沒有邏輯 無...
卷積神經網路 第四周
1 人臉驗證，判斷是否與模板一直，是一對一的問題 2 人臉識別，一對多的問題 所以人臉識別對於正確率的要求更高。在人臉識別系統中，一般資料庫中我們都只有一張某個人的 如果用一張 來訓練模型，效果很差，所以要解決這個問題需要引入相似函式 一張經過cnn處理之後會輸出全連線層fc，把兩張的的結果計算範數...
《1。卷積神經網路》
1.簡述卷積的基本操作，並分析其與全連線層的區別 答 具有區域性連線和權值共享的特點。卷積操作能夠在輸出資料中大致保持輸入資料的結構資訊 2.在卷積神經網路中，如何計算各層的感受野大小？答 3.卷積層的輸出尺寸 參數量和計算量 答 輸出尺寸 1.簡述分組卷積及其應用場景 答 分組卷積就是將輸入通道和...