人工神經元：人工神經元是人工神經網路的基本單元。模擬生物神經元，人工神經元有1個或者多個輸入（模擬多個樹突或者多個神經元向該神經元傳遞神經衝動）；對輸入進行加權求和（模擬細胞體將神經訊號進行積累和樹突強度不同）；對輸入之和使用啟用函式計算活性值（模擬細胞體產生興奮或者抑制）；輸出活性值並傳遞到下乙個人工神經元（模擬生物神經元通過軸突將神經衝動輸入到下乙個神經元）。
感知機：是二類分類的線性分類模型，輸入為例項的特徵向量，輸出為例項的類別。
多層感知機：多層的感知機構成，具有強的的資料特徵提取抽象功能。是乙個前向傳播過程。
啟用函式：讓感知機從單層變成多層。
流行的啟用函式：
飽和啟用函式：1.sigmoid函式或者logistic函式2.tanh — hyperbolic tangent（雙曲正切函式）
非飽和啟用函式：3.relu -rectified linear units（線性修正單元）
反向傳播：計算每一層的誤差，誤差的計算過程是從最後一層向前推進的，並更新權值。
損失函式（loss function ）衡量模型的輸出與標籤的差異。
代價函式（cost function ）定義在整個訓練集上，所有樣本誤差的平均，也就是損失函式的平均。
目標函式（object function）定義為：最終需要優化的函式。等於經驗風險+結構風險（也就是cost function + 正則化項）。
神經網路入門基礎文章
1 神經網路基本原理介紹 1 深度神經網路 dnn 模型與前向傳播演算法 2 深度神經網路 dnn 反向傳播演算法 bp 3 深度神經網路 dnn 損失函式和啟用函式的選擇 4 深度神經網路訓練之梯度下降法 5 深度神經網路 dnn 的正則化 機器學習之正則化 補充 神經網路中的正則化是為了訓練的模...
從自聯想神經網路到深度神經網路
第六篇，簡要描述深度神經網路模型。自聯想神經網路是很古老的神經網路模型，簡單的說，它就是三層bp網路，只不過它的輸出等於輸入。很多時候我們並不要求輸出精確的等於輸入，而是允許一定的誤差存在。所以，我們說，輸出是對輸入的一種重構。其網路結構可以很簡單的表示如下 如果我們在上述網路中不使用sigmoid...
從自聯想神經網路到深度神經網路
第六篇，簡要描述深度神經網路模型。自聯想神經網路是很古老的神經網路模型，簡單的說，它就是三層bp網路，只不過它的輸出等於輸入。很多時候我們並不要求輸出精確的等於輸入，而是允許一定的誤差存在。所以，我們說，輸出是對輸入的一種重構。其網路結構可以很簡單的表示如下 如果我們在上述網路中不使用sigmoid...