2. 記憶網路
3. 圖網路
特點：每一層神經元接收前一層神經元的輸出，相當於有向無環圖
實現方式：前饋網路包括全連線前饋網路和卷積神經網路
**a. ** 多個全連線層可以從不同角度提取特徵；
**b. ** 全連線層作為輸出層有分類和數值**的功能；也經常用於卷積神經網路。
**缺點：**權重多，計算量大。
**應用：**所有的神經網路均可以利用
【卷積神經網路的層級結構】
資料輸入層
卷積層：每個神經元看做乙個濾波器(filter)，每個濾波器只關注乙個特徵，比如垂直邊緣，水平邊緣，顏色，紋理等等，這些所有神經元加起來就好比就是整張影象的特徵提取器集合
relu激勵層：非線性對映
池化層：池化層夾在連續的卷積層中間， 用於壓縮資料和引數的量如壓縮影象，減小過擬合
全連線層：對空間排列的特徵化成一維的向量
優點：共享卷積核，對高維資料處理無壓力
缺點：難解釋（我們並不知道沒個卷積層到底提取到的是什麼特徵，而且神經網路本身就是一種難以解釋的「黑箱模型」）
應用：人臉識別、影象識別
**特點：**對前期學習的資訊有記憶功能，可用有向迴圈圖或無向圖表示
**實現方式：**記憶網路包括迴圈神經網路、玻爾茲曼機、受限玻爾茲曼機等
**應用：**常用於文字填充、時間序列、語音識別等序列資料
rnn的訓練演算法為：bptt
【bptt的基本原理】
a.前向計算每個神經元的輸出值；
b.反向計算每個神經元的誤差項值；
c.計算每個權重的梯度。
d.最後再用隨機梯度下降演算法更新權重
與傳統的迴圈神經網路相比，lstm採用三門機制，輸入門、遺忘門以及輸出門和乙個內部記憶單元。
輸入門：決定從當前步驟新增哪些資訊
遺忘門：控制前一步記憶單元中的資訊有多大程度被遺忘掉
輸出門：決定下乙個隱藏狀態應該是什麼
gru是在lstm上進行簡化而得到的，只有兩個門，分別為更新門和重置門
重置門：候選隱含狀態使用了重置門來控制過去有多少資訊被遺忘
更新門：控制過去的隱含狀態在當前時刻的重要性
特點：可有向可無向，前饋網路與記憶網路的輸入為向量或向量序列，圖網路的輸入為圖結構資料如知識圖譜、社交網路、分子網路等
實現方式：圖網路包括圖卷積網路、圖注意力網路、訊息傳遞神經網路
**總結：**每一種神經網路各有優點，在具體的場景中，根據不用的應用選擇不同的網路，也可能會同時用到三種網路搭建更複雜的網路。
深度學習 神經網路結構
線性可分 線性不可分 判斷一堆資料是否能夠線性可分的關鍵在於所在維度。從線性不可分 線性可分，可採用公升高維度的方式。線性可分和線性不可分的辯證統一思想 在低維空間中資料線性不可分，通過對映到高維空間是線性可分，回到低維空間又是線性不可分的，兩者統一而矛盾。線性不可分 線性可分 同時參考 深度學習領...
神經網路結構
定義 在機器學習和認知科學領域，人工神經網路 artificial neural network，縮寫ann 簡稱神經網路 neural network，縮寫nn 或類神經網路，是一 種模仿生物神經網路的結構和功能的計算模型，用於對函式進行估計或近似。神經網路的種類 基礎神經網路 單層感知器，線性神...
卷積神經網路結構
卷積神將網路的計算公式為 n w f 2p s 1 其中n 輸出大小 w 輸入大小 f 卷積核大小 p 填充值的大小 s 步長大小 即與用和原輸入層大小 深度完全一致的卷積核進行卷積，形成11x的全連線層 即展開 其中x由卷積核的層數決定。寫 時也可以直接展開為一維 不改變輸入層的大小，但改變輸入和...