ML 感知機及其matlab實現

1. 感知機原理：

感知機是二分類的線性模型，其輸入是例項的特徵向量，輸出的是事例的類別，分別是+1和-1，屬於判別模型。

假設訓練資料集是線性可分的，感知機學習的目標是求得乙個能夠將訓練資料集正例項點和負例項點完全正確分開的分離超平面。如果是非線性可分的資料，則最後無法獲得超平面。

感知機從輸入空間到輸出空間的模型如下：

損失函式的優化目標是期望使誤分類的所有樣本，到超平面的距離之和最小。所以損失函式定義如下：

不考慮1/(||w||)，就得到感知機模型的損失函式：

為什麼忽略1/(||w||)呢？網上有人說1/(||w||)是個定值，但是個人覺得平面不唯一，這個值肯定也會變。通過參考他人觀點結合思考，我覺得原因可以列為以下兩點。

1）1/(||w||)不影響yi(w⋅xi+b)正負的判斷，即不影響學習演算法的中間過程。因為感知機學習演算法是誤分類驅動的，這裡需要注意的是所謂的「誤分類驅動」指的是我們只需要判斷−yi(w⋅xi+b)的正負來判斷分類的正確與否，而1/(||w||)並不影響正負值的判斷。所以1/(||w||)對感知機學習演算法的中間過程可以不考慮。

2）1/(||w||)不影響感知機學習演算法的最終結果。因為感知機學習演算法最終的終止條件是所有的輸入都被正確分類，即不存在誤分類的點。

綜上所述，即使忽略1/(||w||)，也不會對感知機學習演算法的執行過程產生任何影響。反而還能簡化運算，提高演算法執行效率。

2. 感知機學習演算法：

感知機學習演算法是對上述損失函式進行極小化，求得w和b。但是用普通的基於所有樣本的梯度和的均值的批量梯度下降法（bgd）是行不通的，原因在於我們的損失函式裡面有限定，只有誤分類的m集合裡面的樣本才能參與損失函式的優化。所以我們不能用最普通的批量梯度下降,只能採用隨機梯度下降（sgd）。目標函式如下：

輸入：訓練資料集t。

輸出：w和b；感知機模型f(x)=sign(w⋅x+b)。

更新：判斷該資料點是否為當前模型的誤分類點，即判斷若yi(w⋅xi+b)<=0則更新：

3. matlab**

1.感知機**：

function perceptron(data)
x=data(:,[1,2]); 
y=data(:,3);
m=size(x,1); 
plotdata(x,y); 
axis([-4 4 -4 4]);
hold on
x1=-4:0.2:4; 
w=[0;0]; 
b=0;
alph=1; 
error=1;
while error>0
error=0;
for i=1:m
if (((w'*x(i,:)'+b)*y(i))<=0)
error=error+1;
w=w+alph*y(i)*x(i,:)';
b=b+alph*y(i);
y1=(-w(1)*x1-b)/w(2);
plot(x1,y1,'-b');
pause(0.5);
endend
endplot(x1,y1,'-r','linewidth',3);
end

獲得線性可分資料集**：

function [sample]=generate_sample(step,error)

aa=0.5;

bb=2;

b1=0.3;

rr =error;

s=step;

x1(:,1) = -4:s:4;

n = length(x1(:,1));

x1(:,2) = aa.x1(:,1) + bb + b1 + rrabs(randn(n,1));

y1 = -ones(n,1);

x2(:,1) = -4:s:4;

x2(:,2) = aa.x2(:,1) + bb - b1 - rrabs(randn(n,1));

y2 = ones(n,1);

figure;

plot(x1(:,1),x1(:,2),『bx』,x2(:,1),x2(:,2),『k.』);

feature=[x1 y1];

category=[x2 y2];

sample=[feature;category];

繪製資料集**：

function plotdata(x,y)
figure;
hold on;
pos=find(y==1);
neg=find(y==-1); 
plot(x(pos,1),x(pos,2),'k+','linewidth',2,'markersize',9);
plot(x(neg,1),x(neg,2),'ko','marke***cecolor','r','linewidth',2,'markersize',7);
hold off;
end

4. matlab**生成大小為20的線性可分資料集，繪製（x，y）以及平面上的目標函式f。如圖：不同的方式標記了不同類別，迭代次數如圖藍線條個數，目標函式如紅線所示。（學習率n = 1）

將演算法執行在大小為為100和1000的線性可分資料集。如圖：不同的方式標記了不同類別，迭代次數如圖藍線條個數，目標函式如紅線所示。（學習率n = 1）

ML 感知機及其matlab實現

2 感知機模型實現 matlab

感知機perceptron 機器學習ML

MLP 多層感知機的原理及Matlab實現

ML 感知機及其matlab實現

2 感知機模型實現 matlab

感知機perceptron 機器學習ML

MLP 多層感知機的原理及Matlab實現

相關推薦