續《線性方程組的型別及求解》（一）。接著，我們再來複習一下不相容線性方程組（超定方程組）的解法。
五. 最小二乘解法
當方程組不相容時，我們可以尋求次佳(next-best)解。
模型將原不相容方程組 ax\neq b 轉換為正規方程組 atax=atb 。
首先構造原不相容方程組的最小二乘解 argmin_|ax-b|_2^2 ，從而將原問題轉換為求殘差二範數最小的優化問題（注意此處用 argmin 是因為即便在 f(x) 後帶上常數，但關心的最小值點不變，二如果使用 min 則會改變最小值）； 再令 f(x)=(ax-b)^t(ax-b) （這是技巧，對於矩陣，要構造「平方」則用轉置來乘），展開得 f(x)=xtatax-2btax+btb （注意化簡過程中， (btax)t=xtatb ，因為等式兩邊結果都是乙個數）； 接著對上式求梯度 f』(x)=(xtatax-2btax+btb)』=2atax-2atb=0 （技巧：模擬代數 f』(x)=(\fracax^2-bx)』=ax-b ，對於矩陣情形 gradf(x)=(\fracxtax-btx)』=ax-b ）。 最後得到原不相容（超定）方程的正規方程形式： atax=atb 。 該模型的價值在於可以直接根據具體問題寫出最終的求解形式，參見ppt14的第14頁。
定理不相容方程的最小二乘解總是存在的。
證明：ppt14的第18頁。
應用場景
在統計學中，根據實驗樣本進行資料擬合時往往會求解超定方程。在許多實際問題中，由於變數和變數之間的關係比較複雜，需要考慮問題背景所涉及的數學模型，觀察資料散點的分布，選取不同函式做實驗，以獲得比較成功的資料擬合。下面介紹集中擬合函式：
（1） y(x)=c_0+c_1 x
（2） y(x)=c_0+c_1x+…+c_nx^n
（3） y(x)=c_0\varphi_0(x)+c_1\varphi_1(x)+…+c_n\varphi_n(x)
（4） y(x)=c_0e^ （線性化處理後為 \ln y(x)=\ln c_0+c_1\ln x ）
ppt14的例題1
（5） y(x)=x^c
ppt14的例題2
最小二乘法與插值法有著類似的作用，但其之間也存在著一些本質的差別，插值法的相關知識可以在《機器學習數學基礎》中查閱。
六. 廣義逆解法
2.2.2 簡單性質
2.2.3 範數的等價
2.2.4 範數的相容
2.3 運算元範數
2.3.1 定義
2.3.2 簡單性質
2.3.3 常用運算元範數
2.3.4 廣義運算元範數
2.4 酉不變範數
2.4.1 定義
2.4.2 例子
參考資料
《矩陣理論》（黃延祝 鐘守銘，高等教育出版社，2003）
老師的授課ppt
MATLAB 線性方程組求解
clc,clear all close all 高斯消去法 a 2 3 4 3 5 2 4 3 30 線性方程組的係數矩陣 b 6 5 32 線性方程組的右端列向量 m,n size a 測量係數矩陣的維數 if m n fprint 線性方程組的係數矩陣非方陣 break end fprintf ...
MATLAB線性方程組求解
對於一般的，有唯一解的線性方程組，我們可以轉換成矩陣的形式 a x bax b ax b 則可以用矩陣運算求解x，即x a b 求解齊次線性方程組基礎解系的函式是null z null a 表示返回矩陣a的基礎解系組成的矩陣。z還滿足ztz i z null a,r 得出的z不滿足ztz i，但得出...
SVD求解線性方程組
對於任一給定的矩陣am n boldsymbol am n 都存在這樣的分解 a u dv t boldsymbol boldsymbol boldsymbol boldsymbol t a udvt 這裡 u boldsymbol u是乙個 m m m times m m m 的正交矩陣，d bo...