神經網路概括成一句話就是：不同的神經元按不同連線方式組成了不同的神經網路
神經元圖表示
基本神經元
卷積或池化神經元
均值和標準差神經元
迴圈神經元
長短時記憶神經元
門控神經元
（1）基本神經元
![基本神經元](
基本神經元（basic neural network cells），也可以稱之為前饋神經元（feed forward cells），在前饋神經網路結構**現。前饋神經元的輸入等於前一層所有與它連線的神經元的輸出乘以對應的權重再求和，然後再加上乙個偏差值（bias），這個輸入經過啟用函式（activation function）之後就形成了這個神經元的輸出。
（2）卷積和解卷積神經元
卷積神經元（convolutional cells）和基本的前饋神經元類似，只不過它們通常只和其前一層中的部分神經元連線。卷積神經元通常是和特定（鄰近）距離的神經元連線，而不是隨機連線，所以它們常用於儲存空間資訊，對帶有大量區域性資訊的資料特別適用，比如影象和聲波（但大部分時候是影象）。解卷積神經元剛好相反，它們和下一層區域性連線（locally connected），常用於解碼空間資訊。
（3）池化和插值神經元
池化神經元和插值神經元（pooling and interpolating cells）常和卷積神經元結合使用，它們更像是一種運算操作，而不是真正的神經元。池化神經元接收所有連線的輸入並且決定哪些輸入可以通過，哪些不可以。在影象中，這就可以理解為對影象進行縮放，即保留某些畫素而忽略另一些。插值神經元則和池化神經元相反，它們接收輸入資訊並將其對映到更大的資訊空間，即增添了新的資訊。當然，新的資訊是通過特定的方式獲得的。
（4）均值和標準差神經元
作為概率神經元，均值和標準差神經元（mean and standard cells）經常成對出現，被用於表示概率分布。比如，乙個用於表示影象的概率神經元可以包含某個特定畫素中有多少紅色資訊，假設均值為0.5，標準差為0.2。當從這些概率神經元中取樣時，將這些值輸入乙個高斯分布隨機數生成器（gaussian random number generator），這樣很有可能就會生成04~0.6之間的數值，離0.5越遠生成的概率越小。概率神經元通常和前一層或者下一層之間全連線，且沒有偏差（bias）。
（5）迴圈神經元
迴圈神經元（recurrent cells）不僅是層與層之間的連線，而且也會在時間軸上進行連線。如何理解呢？即每個迴圈神經元都會儲存它之前的值。迴圈神經元和普通神經元的更新方式類似，但是它們擁有更多的連線權重：與之前值的連線以及和同一層中其它神經元的連線（大多數時候）。由於先前的值是通過啟用函式得到的，而在每一次的更新時，都會把這個值和其它權重一起輸入到啟用函式，因此，資訊會不斷地流失。實際上，資訊的儲存率非常的低，以至於僅僅四次或者五次迭代更新過後，幾乎之前所有的資訊都會流失掉。
（6）長短時記憶神經元
長短時記憶神經元（long and short term memory cells）用於克服迴圈神經元中的資訊流失問題，它是基於計算機中記憶體單元的工作方式設計的。與迴圈神經元不同的是，長短時記憶神經元儲存四個狀態：輸出的當前值和先前值、「記憶單元（memeory cell）」的當前和先前狀態。
長短時記憶神經元有三個門：輸入門、輸出門和遺忘門，以及乙個普通的輸入。這就意味著前一層和長短時記憶神經元的連線必須設定四個權重。通過將輸入資訊和門中儲存的乙個0~1之間的數相乘，可以決定讓輸入資訊全部通過、部分通過、或者均不通過。
因為沒有和輸出相連線，以及在這個連線迴圈中沒有啟用函式，因此流失的資訊很少。
（7）門控神經元
門控迴圈單元（gated recurrent units or cells）是lstm神經元的一種變體，同樣使用「門（gate）」來防止資訊的流失。但只有兩種門：更新門和重置門，雖然表達能力稍弱，但是運算速度卻加快了。門控迴圈單元將輸入門和遺忘門整合形成更新門，其思想在於如果想要獲得大量新資訊，那麼或許可以遺忘一些舊資訊。
層（layers）可以定義為：層是一組神經元的集合，這個集合中的神經元不和彼此連線，而之和另外乙個集合中的神經元相連線。
（1）全連線層
全連線層（fully or completely connected），即乙個神經元和它上一層、下一層的所有神經元相連線。當神經元數量增加時，連線的數量也呈指數級增長。比如下文的霍普菲爾網路（hopfield networks）和玻爾茲曼機（boltzmann machines）。
（2）卷積層
卷積層（convolutional connected layers）相比於全連線層有更多的約束 ：卷積層的每個神經元只和相鄰的神經元層相連線。卷積連線有利於保留空間資訊，而且對於資料降維非常有用。
（3）隨機連線
主要包含兩個內容：
這種方式有助於降低全連線層遇到的效能問題，擁有更多神經元且更加稀疏的神經元層在某些情況下執行效果更好。
（4）時延連線
時延連線（time delayed connections）是指相連的神經元（通常是在同乙個神經元層，甚至於乙個神經元自己跟自己連線），它們不從前面的神經元層獲取資訊，而是從神經元層先前的狀態獲取資訊。這使得暫時（時間上或者序列上）聯絡在一起的資訊可以被儲存起來。這些形式的連線經常被手工重新進行設定，從而可以清除神經網路的狀態。和常規連線的主要區別是，這種連線會持續不斷地改變，即便這個神經網路當前沒有處於訓練狀態。
部分示例：
本系列文章參考：【深度學習】一文帶你了解主流神經網路
神經網路（1）
一 什麼是神經網路 神經網路模型 knn 於生物體的神經系統，是一組連線的輸入 輸出單元，每個連線都與乙個權重相關聯。神經網路模式可以學習資料的特點，訓練的資料不同，產生的模型不同。應用場景 不知道用什麼數學模型合適 知道應用什麼模型但不知道模型複雜度時可以使用。比如要做分類問題，但屬於非線性的切分...
神經網路 1 快速了解神經網路
常規的神經網路我們可以知道包括 輸入層，隱藏層，輸出層 如 傳播過程為 h x w1 b1 y h w2 b2 需要注意 一系列線性方程的運算最終都可以用乙個線性方程表示。也就是說，上述兩個式子聯立後可以用乙個線性方程表達。對於兩次神經網路是這樣，就算網路深度加到100層，也依然是這樣。這樣的話神經...
神經網路基礎1
1.背景 1.1 以人腦中的神經網路為啟發，歷史上出現過很多不同版本 1.2 最著名的演算法是1980年的 backpropagation 2.多層向前神經網路 multilayer feed forward neural network 2.1 backpropagation被使用在多層向前神經網...