·語音問答
·機器翻譯
·作詞、作詩
·模仿寫**
·模仿寫**
·影象理解
·視覺問答
note：
○ 傳統神經網路不考慮上下文關係
○ 迴圈神經網路考慮的核心問題——上下文關係（時序）
○ 目標——考慮更多的上下文
○ 迴圈神經網路模仿寫**、寫**，更多的是模仿其中的格式（比如公式居接下來要換行，if下面跟else等），但是讀起來可能是沒有邏輯、無法執行的
·傳統神經網路、卷積神經網路，輸入輸出之間是相互獨立的
·rnn可以更好的處理具有時序關係的任務
·rnn通過其迴圈結構引入「記憶」的概念
○輸出不僅依賴於輸入，還依賴「記憶」
○將同乙個結構迴圈利用
隱層的資料被存入到乙個「記憶」單元中。
存在「記憶」中的資料會被作為另外乙個輸入與原始輸入一起輸入到神經網路中。
兩種輸入：乙個資料（如x1，x2）輸入，乙個「記憶」輸入
兩種輸出：乙個資料（如y1，y2）輸出，乙個「記憶」輸出
一種函式：中間的計算關係
小結：
·隱層狀態h可以被看作是「記憶」。因為他包含了之前時間點上的相關資訊
·輸出y不僅由當前的輸入決定，還會考慮到之前的「記憶」，由兩者共同決定
·rnn在不同時刻共享同一組引數（u，w，v），極大的減小了需要訓練和預估的參數量
·rnn和lstm對「記憶」的處理方式不同
·rnn的「記憶」在每個時間點都會被新的輸入覆蓋，但lstm中的「記憶」是與新的輸入相加
·lstm：如果前邊的輸入對ct產生了影響，那這個影響會一直存在，除非遺忘門的權重為0
解決梯度消失的問題，但是不能解決梯度**問題
·小技巧：lstm中learning rate可以被盡量的設定小
小結：
·lstm實現了三個門計算，即遺忘門、輸入門和輸出門
·lstm的乙個初始化技巧是將輸出門的bias置為正數（例如1或5），這樣模型剛開始訓練時forget gate的值接近於1，不會發生梯度消失
lstm有三個門，運算比較複雜，解決方案——>gru
第四周 卷積神經網路 part3
背景 迴圈神經網路是一類以序列資料為輸入，在序列的演進方向進行遞迴且所有節點按鏈式連線的遞迴神經網路。對迴圈神經網路的研究始於二十世紀80 90年代，並在二十一世紀初發展為深度學習演算法之一，其中雙向迴圈神經網路和長短期記憶網路 是常見的的迴圈神經網路。迴圈神經網路具有記憶性 引數共享並且圖靈完備因...
卷積神經網路 第四周
1 人臉驗證，判斷是否與模板一直，是一對一的問題 2 人臉識別，一對多的問題 所以人臉識別對於正確率的要求更高。在人臉識別系統中，一般資料庫中我們都只有一張某個人的 如果用一張 來訓練模型，效果很差，所以要解決這個問題需要引入相似函式 一張經過cnn處理之後會輸出全連線層fc，把兩張的的結果計算範數...
《1。卷積神經網路》
1.簡述卷積的基本操作，並分析其與全連線層的區別 答 具有區域性連線和權值共享的特點。卷積操作能夠在輸出資料中大致保持輸入資料的結構資訊 2.在卷積神經網路中，如何計算各層的感受野大小？答 3.卷積層的輸出尺寸 參數量和計算量 答 輸出尺寸 1.簡述分組卷積及其應用場景 答 分組卷積就是將輸入通道和...