線性代數導論16 投影矩陣和最小二乘

2021-07-01 20:41:15 字數 1771 閱讀 9162

第十六課時:投影矩陣和最小二乘 projections matrix and least squares

投影矩陣

回顧上一講的內容,只要知道矩陣a的列空間,就能得到投影矩陣p的匯出式。

上述兩種情況的證明,第一種情況,如果b在a的列空間,那麼b可以表示為b=ax,p乘ax等於ax。第二種情況,由於b與列空間正交,那麼

atb=0,得證。

上述是兩種特殊情況,一般情況下,向量b會有一分量在列空間裡,另一分量則和列空間垂直(存在於左零空間)。投影要做的就是去掉與列空間垂直分量,保留在列空間中的分量。從幾何上看,如下

b投影到兩個正交的子空間中,投影到列空間p=pb,投影到零空間的e=(i-p)b。p和 i-p都是投影矩陣,如果p是對稱的,那 i-p也是。

最小二乘,典型的應用就是擬合最優直線

上一講的問題,找到一條最優的直線 y=c+dt,使得總誤差最小。

a的兩個列向量線性無關,右側b向量並不在a的列空間中,無解,那麼最接近的解是什麼?找擁有最小誤差平方和的解(用誤差的平方和作為測量總誤差的標準):這些誤差是ax和b之間的差值,我們需要最小化它。

ax-b=e,即誤差向量,是向量,即意味著要將向量e的長度最小化,因為求平方很容易且為非負數,向量長度大於等於0,當等於0時,b就在a的列空間中,此時有解。可以看到上圖中,

各點到直線的距離誤差e1,e2,e3,現在就是要最小化這三者的平方和,這(線性擬合)是統計學中很重要的一部分,通常叫著線性回歸分析。          

考慮 統計學中的離群值outlier,假設有個點距離最優解很遠,那麼使用最小二乘時,平方時誤差就很大了。因此最小二乘法有點太容易受到離群量的影響。

解出p(p1,p2,p3),x'=(c,d)

計算出a

t a它是對稱可逆方陣,且是正定矩陣(後面會講)。右側兩個方程叫做」正規方程組「。

這 個「正規方程組」的得到還可通過微積分的方法得到,通過最小化誤差平方和得到,把誤差的平方和看著函式,它有c和d兩個變數,從微積分的觀點看,可以分別對c和d求偏導,並令誤差對變數c和d的偏導等於0就可得到上面兩個式子。

消元解方程組得:d=1/2,c=2/3。所以最優直線為 y=2/3 + t/2。因此也可得到三個誤差值:e1=-1/6,e2=2/6,e3=-1/6。p1=7/6,p2=5/3,p3=13/6。

p和e的關係:p+e=b, pt

×e=0,e還垂直於列空間中的任意向量。

如上兩圖,

用兩種不同的方式,b在兩個子空間的投影和最小二乘都描述了同乙個問題

,b到列空間的投影得向量p,找到了最接近b的列向量的線性組合c和d

,c和d定義了最優直線,由c和d確定的列組合就是向量p

如果矩陣a各列線性無關(是最小二乘法成立的大前提),證明ata是可逆矩陣。假設a

tax=0,那麼只需要證明x只有零解。

根據向量的平方為0得ax=0,而a各列又是線性無關的,那麼x=0.

因此,矩陣a各列線性無關時, at

a是可逆的。有一種線性無關的情況比較特別,那就是標準正交向量組。

首先,相互垂直的各列向量一定是線性無關的(零向量除外)。相互垂直的單位向量一定是線性無關的,它們稱為

標準正交向量組。比如

w(cosθ,sinθ)和v(-sinθ,cosθ)就是一組典型的標準正交向量(相互垂直且是單位向量)。下講看看標準正交向量組有什麼優點以及如何使向量組標準正交化。

線性代數導論16 投影矩陣和最小二乘

第十六課時 投影矩陣和最小二乘 projections matrix and least squares 投影矩陣 回顧上一講的內容,只要知道矩陣a的列空間,就能得到投影矩陣p的匯出式。上述兩種情況的證明,第一種情況,如果b在a的列空間,那麼b可以表示為b ax,p乘ax等於ax。第二種情況,由於b...

線性代數導論2 矩陣消元

線性代數導論2 矩陣消元 第二課時 矩陣消元 本課時的目標是用矩陣變換描述消元法。核心概念是矩陣變換。一 消元法 消元法 將主對角線上的主元固定 0不能做主元 把主元下面的元素消為0。過程 先完成左側矩陣的消元 變成上三角矩陣 再回代運算右側向量,最後即可求出解完成整個消元過程 matlab也是先計...

線性代數導論3 乘法與逆矩陣

第三課時 乘法與逆矩陣 本課時先講解矩陣乘法運算,然後是逆矩陣 一 矩陣乘法 5種方法 am n bn p cm p,a列必須等於b的行數 1 常規方法,行列點乘法 c ab,c中的第i行j列結果來自a的第i行向量與b的第j列向量的點乘。整行整列的進行。2 列方法,整列考慮,列的線性組合方式 b的乙...