（數學）最小二乘的幾何意義及投影矩陣

主要內容：

什麼是最小二乘

最小二乘的幾何意義

正交投影矩陣

假設我們手上有n組成對的資料，，為了**y變數與x變數的關係，我們希望用乙個多項式來匹配它，可是多項式中的係數怎麼確定呢？拿來拼湊肯定是不行的，最小二乘法告訴我們，這個多項式的係數應該讓每個點的誤差的平方之和最小。

最小二乘的幾何意義：最小二乘法中的幾何意義是高維空間中的乙個向量在低維子空間的投影。

從上面的定義中，我們很難想象到最小二乘的幾何意義，那麼我們通過乙個簡單的例子來推導一下：

我們根據定義中的誤差平方之和最小化來擬合直線：

每個點的誤差表示：

最小誤差的平方和：

要求解上面的最小化問題，我們可以通過求導的方式得到，最好是轉化為矩陣表達形式：ax=b (這裡x表示上述的係數a)

求得結果為：

如果通過超定方程的解法

先來說說向量表達形式：

小括號中表示：它是兩個向量 [1, ... , 1]t 和 [x1, ... , xn]t 的線性組合，換句話說，它是這兩個向量構成的二維子空間（想成乙個平面就可以）的任意一點。

那麼上面式子的幾何含義：表示向量 [y1, ... , yn]t（表示空間中的一點）到這個二維子空間任意一點的距離；（向量的長度）

最小化上面式子的平方（向量長度的最小化）的幾何含義：尋找在 [1, ... , 1]t 和 [x1, ... , xn]t 構成的二維子空間上的乙個點，使得向量 [y1, ... , yn]t 到這個點的距離最小。怎麼找這個點呢？只要做乙個幾何投影就好了。（如下圖）

如上圖所示，在三維空間中給定乙個向量 u，以及由向量 v1，v2 構成的乙個二維平面，向量 p 為 u 到這個平面的投影，它是 v1，v2 的線性組合:

利用投影的垂直性質，我們可以得到關於係數c的兩個方程：

令 v = [v1, v2], p = c1v1 + c2v2，將上述式子合併並轉化為矩陣形式（更容易擴充套件到高維空間），得到：

因此係數ｃ的表示式為：

有沒有發現很熟悉?和式子

好了，我們回到原來的例子，看看幾何關係中的投影點和被投影的空間分別代表什麼。

把圖中的 u 替換成 [y1, ... , yn]t ，把 v1，v2 分別替換成 [1, ... , 1]t 和 [x1, ... , xn]t, 係數 c1 和 c2 也就是我們要求的 a0，a1。

所以，最小二乘法的幾何意義是高維空間的乙個向量（由y資料決定）在低維子空間（由x資料以及多項式的次數決定）的投影。

張成子空間：

張成子空間的投影矩陣：

最小二乘的投影解釋：