在前面我們所討論的rosenblatt感知機，其本質是乙個單層神經網路。但這一網路侷限於線性可分模式的分類問題。而由widrow和hoff(1960)提出的最小均方演算法(lms)也是基於權值可調的單個線性神經元。同樣限制了這一演算法的計算能力。為了克服上述侷限，多層感知機（mlp）應運而生。
多層感知機的基本特徵：
訓練感知機的乙個流行方法是反向傳播演算法，lms是反向傳播演算法的乙個特例。訓練分為如下兩個階段：
1、前向階段：網路的突觸權值是固定的，輸入訊號在網路中一層一層傳播，直到到達輸出端。其實這一階段就是利用現有的權值以及輸入得到輸出的過程。因此，在這一階段，輸入訊號的影響限制在網路中啟用隱藏神經元的輸出神經元上。如上圖所示，箭頭所指方向即是前向傳播方向。
2、反向傳播階段：通過比較網路的輸出和期望輸出產生的乙個誤差訊號。得到的誤差訊號再次通過網路一層一層傳播，但是這一次傳播是在反向方向進行的。目的是對於網路的突觸權值進行不斷的修正。也正是由於反向傳播演算法的出現才的得以讓神經網路演算法廣泛應用。
如上圖描繪了多層感知機的一部分。在這個網路中，兩種訊號都能被識別：
1、函式訊號：函式訊號是從網路輸入端而來的乙個輸入訊號（刺激），通過網路向前傳播，到達網路輸出端即成為乙個輸出訊號。函式訊號也被認為是輸入訊號。
2、誤差訊號：乙個誤差訊號產生於網路的乙個輸出神經元，並通過網路反向傳播。之所以稱之為誤差訊號是由於網路的每乙個神經元對它的計算都以這種或者那種形式涉及誤差依賴函式。
多層感知器每乙個隱藏層或輸出層神經元的作用是進行兩種計算：
1、計算乙個神經元的輸出處出現的函式訊號，它表現為關於輸入訊號以及與該神經元相關連的突觸權值的乙個連續非線性函式。
2、計算梯度向量（誤差曲面對於神經元權值的梯度）的乙個估計，它需要反向通過網路。
隱藏神經元扮演著特徵檢測運算元的角色；它們在多層感知機的運轉中起著決定性作用。隨著學習過程通過多層感知機不斷進行，隱藏神經元開始逐步「發現」刻畫訓練資料的突出特徵。它們是通過將輸入資料非線性變換到新的特徵空間而實現的。例如，在模式分類問題中，感興趣的類在這個新的空間中可能比原始輸入資料空間中更容易分隔開。甚至，正是通過監督學習形成的這一特徵空間將多層感知機與rosenblatt感知機分別開來。
批量學習：在監督學習的批量方法中，多層感知機的突觸權值的調整是訓練樣本的n個樣例都出現以後進行。乙個非常直觀的例子就是前面介紹的最小二乘法，將n個樣例誤差平方和來調節權值。從統計的角度看，批量學習可以看成是某種形式的統計推斷，因此更適合回歸問題。
參考文獻：神經網路與機器學習（加）s.haykin著 申富饒 徐燁 鄭俊 晁靜 翻譯
neural networks and learning machines s.haykin
2 多層感知機（神經網路）
import tensorflow as tf print tensorflow version format tf.version import sys import pandas as pd import numpy as np import matplotlib.pyplot as plt m...
神經網路學習筆記（一）感知器神經網路
感知器 perceptron 是由美國科學家f.rosenblatt於1957年提出的，是一種模仿生物感知機制，用於模式識別的簡單神經網路。感知器模型如圖1.圖1.單個感知器模型 感知器的傳遞函式為 單個感知器的運算關係為 a hardlim wp b 若令權重向量為 則樣本x對應的實際輸出為 其中...
神經網路學習筆記（一）感知器神經網路
用於簡單的模式分類問題。將r個輸入變數pi賦予不同權值後相加，並加入偏差。閾值函式hardlim。輸入輸入樣本pi，期望目標ti，將期望目標與訓練時產生的輸出目標進行比較。獲得網路誤差，然後應用學習規則對網路權值和偏差進行調整，是訓練後輸出接近於正確目標。p為輸入，t為期望輸出，訓練時實際輸出為a，...