參考：
感知機模型是理解svm和神經網路的基礎。在這裡我們可以從感知機模型上看到神經網路的影子，通過簡單的堆疊就可以成為mlp（神經網路的一種），在損失函式上看到svm的影子。
那到底什麼是感知機呢？
定義：在機器學習中，感知機（perceptron）是二分類的線性分類模型，屬於監督學習演算法。輸入為例項的特徵向量，輸出為例項的類別（取+1和-1）。
從數學角度來講，形如f(x) = sign(w.x+b)，我們就稱之為感知機模型。這裡sign是符號函式，w.x表示w向量和x向量的點積，即
這裡需要說明的sign是個階躍函式，它不光滑且不可導。
我們的感知機模型其實就是在學習這樣乙個最佳的超平面w.x+b=0,能夠在二分類問題中把正負樣本正確分開。也就是得到引數w和b，問題就求解了。但是如何得到w和b的值呢？
有過機器學習基礎的同學都知道，在機器學習領域往往對損失函式使用梯度下降演算法來更新引數。所以現在的關鍵是感知機的損失函式是什麼？知道了損失函式，我們就可以對損失函式求偏導然後基於梯度下降來更新引數，就可以找到w,b的最優值。
注意到，感知機對應的超平面為w.x+b=0，那麼
正樣本 <==> w.x+b>0
負樣本<==>w.x+b <0
但是僅憑這乙個公式是無法區分分類的正確性的，上面的公式只表明了點在超平面的上方還是下方，並未指出分類結果的正確與否。但是當我們在判斷條件中加入標籤yi，就可以對分類結果做出正確的指示了。
如分類正確時：
正樣本 yi=1 並且w.x+b >0
負樣本 yi=-1 並且w.x+b<0
我們可以看出yi (w.x+b)>0
分類錯誤：
正樣本被錯分為負樣本，yi=1,w.x+b<0
負樣本被錯分為正樣本,yi=-1，w.x+b>0
此時yi(w.x+b)<0;
另外我們知道，梯度的更新是以有誤差存在的前提下才能運作的，當正確分類時，因為誤差為0，所以是不會貢獻梯度的。因為正確分類的點及其「周圍」使得損失函式為常數0，從而梯度也為0。
這裡也就是說只有分類錯誤的點才會貢獻梯度，對損失函式有用。使得梯度下降朝著減小損失函式值的方向努力。
所以我們可以定義損失函式為
這裡(xi,yi)為樣本，m是分類錯誤樣本的集合，加符號是為了使損失函式值非負。
此時，我們將感知機學習轉變成求解損失函式l(w,b)的最優化問題。最優化的方法是隨機梯度下降法（stochastic gradient descent）。求解的公式如下：
更新規則就是：
其中引數η是learning rate （學習速率）。
感知機模型
這裡介紹機器學習中最簡單的一種分類方法 感知機模型。感知機模型 其中sign是符號函式，w和b是引數，x是輸入特徵向量，f x 返回決策結果。分離超平面s 對於二類線性可分問題，分離超平面將兩類樣本分在s兩側。空間中一點x0到s的距離 損失函式 定義損失函式的意義是所有誤分類的點到分離超平面的距離之...
感知機模型
在生物神經網路中，其最小的組成單位是神經元。學過高中生物的應該都知道，多個神經元相互連線形成神經網路，乙個神經元興奮時，則向相鄰的神經元傳送化學物質，改變其神經元的內部電位，當點位超過乙個 閾值 時，神經元興奮。神經元的模擬圖如下 xi為第i個輸入，i為第i個輸入的連線權重，y為輸出，為閾值。當達到...
感知機模型
1.簡介 感知機 perceptron 對應於輸入空間 特徵空間 中將例項劃分為正負兩類分離超平面，屬於判別模型，是神經網路及支援向量機的基礎。2.1感知機 若輸入空間 特徵空間 為 r n chi in r n rn 輸出空間為y y in y 輸入x表示例項的特徵向量，對應於輸入空間的點，輸出y...