這裡介紹機器學習中最簡單的一種分類方法：感知機模型。
感知機模型：
其中sign是符號函式，w和b是引數，x是輸入特徵向量，f(x)返回決策結果。
分離超平面s：
對於二類線性可分問題，分離超平面將兩類樣本分在s兩側。
空間中一點x0到s的距離：
損失函式：
定義損失函式的意義是所有誤分類的點到分離超平面的距離之和最小，如果是線性可分問題，則該距離之和為0。
設誤分類的點的集合為m，某誤分類點xm到s的距離為：
所以可得損失函式（優化目標）為：
梯度下降法求解w和b：
使用經典的梯度下降法求解最優化問題。
（一般梯度下降法有兩種選擇：批量梯度下降和隨機梯度下降。批量梯度下降就是使用上述公式，可以得到全域性最優解（也不一定哦），但是當資料量很大時，批量梯度下降會非常慢，因為每次迭代都要使用全部的資料進行計算；而相應的，隨機梯度下降每次迭代只使用乙個樣本資料，速度快，但是不夠魯棒，不一定可以得到最優解。）
這裡使用隨機梯度下降的方案，即每次只使用乙個樣本對引數進行更新：
對於二類線性可分問題，上述隨機梯度下降過程是可以證明收斂的，經過若干次迭代即可以求出分離超平面s，即決策函式。
感知機學習演算法的對偶問題：
為什麼要提感知機學習演算法的對偶問題呢？因為感知機是svm的基礎，並且感知機學習演算法和其對偶演算法與svm學習演算法和其對偶演算法有對應關係，感知機學習演算法的對偶演算法相對比較容易理解！
對偶演算法的思想是：將w和b表示為例項xi和標記yi的線性組合的形式，通過求解其係數而求得w和b。
在上述隨機梯度下降的迭代過程中，即：
如果令w和b的初值為0，則可以將最終w和b的值表示成以下形式：
其中可以看出，只要求出a，就可以求出決策函式。
具體的感知機對偶學習演算法如下：
（1）（2）在訓練資料集中選取資料
（3）如果
（4）轉（2），直到沒有誤分類的資料。
注意在（3）中出現的內積
感知機模型
參考 感知機模型是理解svm和神經網路的基礎。在這裡我們可以從感知機模型上看到神經網路的影子，通過簡單的堆疊就可以成為mlp 神經網路的一種 在損失函式上看到svm的影子。那到底什麼是感知機呢？定義 在機器學習中，感知機 perceptron 是二分類的線性分類模型，屬於監督學習演算法。輸入為例項的...
感知機模型
在生物神經網路中，其最小的組成單位是神經元。學過高中生物的應該都知道，多個神經元相互連線形成神經網路，乙個神經元興奮時，則向相鄰的神經元傳送化學物質，改變其神經元的內部電位，當點位超過乙個 閾值 時，神經元興奮。神經元的模擬圖如下 xi為第i個輸入，i為第i個輸入的連線權重，y為輸出，為閾值。當達到...
感知機模型
1.簡介 感知機 perceptron 對應於輸入空間 特徵空間 中將例項劃分為正負兩類分離超平面，屬於判別模型，是神經網路及支援向量機的基礎。2.1感知機 若輸入空間 特徵空間 為 r n chi in r n rn 輸出空間為y y in y 輸入x表示例項的特徵向量，對應於輸入空間的點，輸出y...