2.1：演算法原理分析
有兩類樣本，x1,和x2,如果將這兩類資料正確分類，則x1對應的y=1，x2對應的y=-1，但是，往往分類的結果不會都正確，這個時候就有分類錯誤，將這種錯誤用就是期望值與真實值的誤差，用最小二乘法計算出分類錯誤：
j(w)=e[|y-xt*w |^2]
w=argmin(j(w))
現在要做的是求出讓代價函式j(w)取最小值的時候,w的取值。
要讓j(w)最小，需要滿足正交條件，也就是這個求導：
(∂j（w）)/(∂w )=2e[x*(y-x^t*w)]=0
可以得到 w=r_x^(-1 )*e[xy]
w就是最小二乘法要求的權重矩陣。r為x樣本的自相關矩陣，而e[xy]就是x和y的內積。
下面是自相關矩陣：
r_x=e[x*x^t ]=[■(e[x1*x1]&⋯&e[x1*xl]@⋮&⋱&⋮@e[xl*x1]&⋯&e[xl*xl])]
下面是期望輸出和輸入特徵向量的互相關：
e[x,y]=e[[█(x1y@.@.@.@xly)]]
下面就畫一下最小二乘法實現的流程圖：
r = x*x';%自相關矩陣
e = x*y;%互相關矩陣的內積
w = inv(r)*e;%計算權重矩陣w
x = linspace(-5,10,5000);
y = (-w(1)/w(2))*x-w(3)/w(2);
plot(x1(1,:),x1(2,:),'r*',x2(1,:),x2(2,:),'b*',x,y, 'r');
% axis([1,12,0,8]);
disp(w);
線性最小二乘法
example f x 12 ax b 22 f x frac parallel ax b parallel 2 2 f x 2 1 a x b 22 最小化下式時x的值。首先計算 xf x at a x b ata x at b big down xf x a t ax b a tax a tb ...
模式分類筆記 最小二乘法
根據解的存在情況，線性方程 ax b 可以分為恰定方程組 有唯一解 超定方程組 解不存在 和欠定方程組 有無窮多解 這個問題從線性空間的角度去分析，可以看成向量b在a張成的線性空間的投影問題。乙個形象的解釋是，已知不重合的兩個點，要求過這兩點的一條直線，那麼我們可以唯一的確定這條直線。如果給定三個點...
線性回歸，最小二乘法
回歸的定義 對於乙個點集，使用乙個函式去擬合該點集，使點集與擬合函式間的誤差最小，如果這個函式曲線是一條直線，則是線性回歸，如果曲線是二次曲線，則是二次回歸。廣義線性回歸 廣義線性模型是線性模型的擴充套件，其特點是不強行改變資料的自然度量，資料可以具有非線性和非恆定方差結構 59 主要是通過聯結函式...