一.神經網路
我們所說的深度學習，其最基礎最底層的模型稱之為"神經網路"（neural network），因為我們希望機器能夠像我們人類大腦的神經網路處理事件一樣去解決問題，最終達到"人工智慧"的效果。
二.神經元
神經網路的基本單位叫做神經元，是我們人類思考的基礎。機器模擬的神經元模型是乙個包含輸入，輸出與計算功能的模型。輸入可以模擬為神經元的樹突，而輸出可以模擬為神經元的軸突，計算則可以模擬為細胞核。當我們用「神經元」組成網路以後，描述網路中的某個「神經元」時，我們更多地會用「單元」（unit）來指代。同時由於神經網路的表現形式是乙個有向圖，有時也會用「節點」（node）來表達同樣的意思。
三.單層神經網路
單層神經網路也叫做感知器（perceptron），其有兩個層次的神經元節點。分別是輸入層和輸出層。輸入層裡的"輸入單元"只負責傳輸資料，不做計算。輸出層裡的"輸出單元"則需要對前面一層的輸入進行計算，我們把需要計算的層次稱之為"計算層"，所以這種僅有乙個計算層的網路稱之為"單層神經網路"。
四.層級運算
神經網路的輸入層和輸出層都可以有多個神經元，也就是資料的維度。從神經網路的前一層至後一層的運算，我們大概可以認為是一種矩陣運算。其本質是m（輸出維度）個含有n（輸入維度）個變數的線性代數方程組。
五.權重和閾值
我們知道神經網路的輸入層是有多個的神經元的，不同的輸入對於輸出結果的影響肯定也各不相同，不同的輸入對應著不同的權重，閾值代表著類別的臨界點。感知器類似乙個邏輯回歸模型，以線性分類任務為例：閾值就相當於決策分界。例如二維的資料平面中一條直線，3維資料的乙個平面，n維資料的乙個n-1維超平面。
六.異或分類
2023年，人工智慧界的大佬minsky出版了一本叫《perceptron》的書，裡面用詳細的數學證明了感知器的弱點，尤其是xor（異或）分類，我們可以把異或分類看作乙個正方形，4個頂點分別為(0,0),(0,1),(1,0),(1,1)。即值為0，1，1，0。其對角屬於一類，顯然，無法找出一條直線作為決策邊界可以使（0,0）和（1,1）在乙個區域，而（1,0）和（0,1）在另乙個區域。這就是單層神經網路的軟肋。
六.兩層神經網路
由於上述原因，兩層神經網路就此誕生。兩層神經網路除了包含乙個輸入層，乙個輸出層以外，還增加了乙個中間層，也叫隱藏層。此時，中間層和輸出層都是計算層。輸出層神經元是對中間層神經元形成的決策邊界構造線性組合。比如說上述問題，我們設定中間層兩個神經元，其閾值分別為(0,1)和(1,0)的切角，最終的輸出層再進行整合。那麼針對於(0,0),(0,1),(1,0),(1,1)四個輸入，中間層的兩個神經元分別輸出為(1,0,1,1)和(1,1,0,1)，最終輸出層輸出為(0,1,1,0)。我們也可以理解成，中間層將原有的一條線性閾值變成了若干條，再由最終輸出層進行整合。兩層神經網路通過兩層的線性模型模擬了資料內真實的非線性函式。所以從理論上來說，兩層神經網路可以無限逼近任意連續函式。也就是說，面對複雜的非線性分類任務，兩層神經網路也可以分類的很好。
七.多層神經網路
與兩層神經網路原理一樣，將中間的層數增多，即成為了多層神經網路，隨著層數的深入，函式的模擬能力變的更強，每一層對於前一層次的抽象表示更深入。例如第乙個隱藏層學習到的是「邊緣」的特徵，第二個隱藏層學習到的是由「邊緣」組成的「形狀」的特徵，第三個隱藏層學習到的是由「形狀」組成的「圖案」的特徵，最後的隱藏層學習到的是由「圖案」組成的「目標」的特徵。通過抽取更抽象的特徵來對事物進行區分，從而獲得更好的區分與分類能力。每增加一層就相當於增加一層矩陣運算。
八.硬體條件
隨著神經網路的深入，對硬體的要求也會顯著的提高，這也就是當初內個年代只有單層神經網路的原因。對於多層神經網路，一般都是通過高效能gpu或者是集群來提供硬體支援。
九.相關學習資源
人工智障學習筆記 深度學習 4 生成對抗網路
概念 生成對抗網路 gan 是一種深度學習模型，是近年來複雜分布上無監督學習最具前景的方法之一。模型通過框架中 至少 兩個模組 生成模型 generative model 和判別模型 discriminative model 的互相博弈學習產生相當好的輸出。判別模型比較好理解，就像分類一樣，有乙個判...
深度學習筆記1 神經網路
神經元與多層網路 神經網路中最基本的成分是神經元模型，目前基本上用的都是 m p神經元模型 在這個模型中，神經元接收到來自n nn個其它神經元傳遞過來的輸入訊號，這些輸入訊號通過帶權值的鏈結進行傳遞，神經元接收到的總輸入值將與神經元的閾值進行比較，然後通過 啟用函式 處理以產生神經元的輸出。啟用函式...
人工智障學習筆記 機器學習 16 降維小結
機器學習領域中所謂的降維就是指採用某種對映方法，將原高維空間中的資料點對映到低維度的空間中。降維的本質是學習乙個對映函式 f x y，其中x是原始資料點的表達，目前最多使用向量表達形式。y是資料點對映後的低維向量表達，通常y的維度小於x的維度 當然提高維度也是可以的 f可能是顯式的或隱式的 線性的或...