遇到像圖1中所示的樣本分類，線性方法是無法發揮作用的。因為塔是線性不可分的，這時候必須採用非線性方法。
多層感知器包含乙個以上隱層和乙個輸出層，隱層將輸入對映到乙個超立方體頂點，輸出層完成線性分類。通過隱層不斷對映，最終可以將樣本對映為線性可分。隱層中每個神經元相當於乙個超平面，超平面將樣本點對映到超立方體頂點上。假設乙個感知器網路由l層構成，每層有節點kr，每個節點的輸入來自上一層每個節點的輸出，其權重引數為wjk
r，假設啟用函式為f(x)。可以採用梯度下降演算法計算權重引數：
如果通過函式將樣本對映到乙個線性可分空間，那麼就將非線性分類任務轉化為線性分類。分類函式就可以表示為對映函式的線性組合：
這在神經網路中相當於有乙個隱層神經元。而多個隱層神經元意味著將樣本空間進行多次空間對映，而最後一層實現線性分類。
前者介紹了通過將低維空間對映到高維空間可以實現線性可分，現在來看看在乙個
l維空間中有多少比例的樣本是可以線性分類的，而又多少樣本是非線性分類的。為了便於計算，
l維空間線性可分問題可以等價的描述為
l-1維超平面中的線性分類。假設乙個
l-1維超平面中有
n個分布的點，被證明出，其能夠被二分的組合數是：
線性對映函式是僅僅同樣本距離相關，而且距離越近產生的影響越大。也就是某個樣本點對映的值最大，而其附近的點和它具有相關性，距離越近相關性越大。競相基函式有多種形式，比如：
模式識別1 線性分類器（感知機）
1.1 感知機演算法原理 首先明確，感知機的輸入和輸出，輸入就是一組向量，每個向量都有n個特徵值，輸出為每個向量的所屬類別，對於二分類而言，就是 1和 1.這個可以用sign函式來模擬 輸入空間到輸出空間的函式為 f x sign w x b 函式理解 w,b為感知機模型引數，w是乙個權重向量，b是...
模式識別分類
摘自 模式識別導論 齊敏,李大健,郝重陽,清華大學出版社,2009.按照理論分類 統計模式識別 是定量描述的識別方法。以模式集在特徵空間中分布的類概率密度函式為基礎，對總體特徵進行研究，包括判別函式法和聚類分析法。是模式分類的經典型和基礎性技術，歷史最長，目前仍是模式識別的主要理論。句法模式識別 也...
線性分類器和非線性分類器
線性和非線性的區別 1.線性linear，指量與量之間按比例 成直線的關係，在數學上可以理解為一階導數為常數的函式 非線性non linear則指不按比例 不成直線的關係，一階導數不為常數。2.線性的可以認為是1次曲線，比如y ax b 即成一條直線 非線性的可以認為是2次以上的曲線，比如y ax ...