這篇比較水。我現在需要先去編寫一下這幾種神經網路的程式以及手動推導損失函式對引數的求導。
所以這本書我先看到這，等學一段時間再回來看。
前饋神經網路、卷積神經網路都是單向傳遞的。而時序資料不僅與當前輸入相關，還和過去一段時間的輸出相關。
前饋神經網路、卷積神經網路的輸入 輸出維數都是固定的。而時序資料的長度一般是不固定的。
所以用迴圈神經網路處理時序資料。
由rnn擴充套件出兩種記憶網路模型：遞迴神經網路、圖網路
rnn的引數學習演算法：隨時間反向傳播演算法
rnn是指 recurrent nn 迴圈神經網路(有時候也叫遞迴神經網路)
recnn是指 recursive nn 遞迴神經網路
延時神經網路 tdnn
有外部輸入的非線性自回歸模型 (自回歸模型 ar的擴充套件)
與全連線網路相比，srn的隱藏層的神經元之間也進行了連線
對比發現，本書中第二項式子沒有啟用函式以及偏置
這是乙個非線性動力系統的狀態表示式
6.10是狀態方程，表示輸入與狀態的關係，用輸入層與隱藏層近似
6.11是輸出方程，表示狀態和輸出的關係，用隱藏層與輸出層近似
可以用rnn去近似該非線性動力系統
st = g(st-1,xt) >>> s't = f(a*st-1 + b*xt + b) st = c*s't
yt = o(st) >>> y't = f(a'*st-1 + b'*xt + b') yt = d*y't
右邊4個式子可寫成矩陣形式
那麼矩陣形式可寫作下面的形式
注：兩層的全連線神經網路
輸入層——隱藏層——輸出層
h = f(x*w+b)
y = f(h*w'+b')
所以得 y= f(f(x*w+b)*w'+b'))
通用近似定理指出 狀態方程與輸出方程可分別由乙個兩層網路近似 y= f(x*w+b)*w'
感想：
對於這一節 特別難理解，反正我現在無法理解
序列到類別：將序列分類。如：文字分類、音訊分類
同步的序列到序列：序列標註。如：詞性標註
非同步的序列到序列：也稱編碼器—解碼器。如：翻譯
注：yt 有兩種取法
計算梯度的方式：隨時間反向傳播bptt與實時迴圈學習rtrl
迴圈神經網路在學習過程中的主要問題是由於梯度消失或**問題，很難建模長時間間隔的狀態之間的依賴關係。
梯度**：梯度很大
梯度消失：梯度很小
lt = l(yt_ ,yt) yt_是t時刻輸出的目標值，t時刻的損失函式lt是關於yt_與yt的函式
整個序列的損失函式關於引數的梯度為每個時刻的損失函式關於引數的梯度求和
bptt反向傳播計算梯度
rtrl前向傳播計算梯度
由於我理解的rnn數學模型與本書中的不一樣，所以我會在另一篇部落格中推導rnn的引數學習，並且再寫一篇前向微分與反向微分的部落格。
gated rnn：包括lstm、gru等
縱向是很「深」的，橫向是很「淺」的。深層迴圈神經網路就是將橫向加深，多加幾個隱層。
srnn(堆疊rnn)
bi-rnn(雙向迴圈神經網路)
圖a recnn遞迴神經網路是rnn在有向無(循)環圖上的擴充套件。
圖b 退化後的recnn就是rnn。
recnn主要用來進行語句的情感分析。
圖網路 gn
概率圖 pgm
圖神經網路gnn
這篇部落格還需不斷改進。加油。
實驗二 第二部分
第二部分 ftp協議分析 1.兩個同學一組，a和b。2.在a主機上架設ftp伺服器 3.在b主機上執行wireshark，並登陸a主機的ftp伺服器，上傳一張，得到抓取的資料報，4.進行追蹤tcp流，顯示為原始資料，分析得到a主機登陸ftp的過程及使用者名稱密碼，還原上傳的，第二部分 ftp協議分析...
Web API 第二部分
web api 第二部分 元素偏移量 offset element.offsettop element.offsetleft element.offsetwidth 可以得到元素的大小 寬度和高度 是包含padding border width element.offsetheight elemen...
redux 第二部分
redux 的使用方法，為什麼使用 action.js 檔案，進行優化 將其分開，然後我們通過工廠函式的每次返回不同的物件，由於引數是固定的，每次返回的都是事件型別和事件資料，所以我們可以使用乙個函式，通過其返回值來返回乙個物件，讓後傳遞給 action 我們的 reducer 函式有兩個引數，引數...