文章將從線性代數和概率論統計兩個角度去分析和解釋最小二乘法
在定義了內積的n維向量空間rn(成為歐式空間或內積空間)中，定義兩個向量α和β的距離等於α-β的長度，記為d(α,β)=|α-β|,而且這樣的距離滿足三條基本性質：
d(α,β)=d(β,α)
d(α,β)≥0,當且僅當α=β時等號成立
d(α,β)≤d(α,γ)+d(γ,β)
設w是rn的乙個子空間，它是由α1,α2,···,αs生成的，設w=l(α1,α2,···,αs).假設rn中的乙個向量β垂直於子空間w，就是指β垂直於w中的任何乙個向量。回憶我們中學幾何，我們學過乙個點到乙個平面或一條直線上的垂直距離最短，同樣，在向量空間rn
*中，乙個向量與某個子空間中各向量間的距離以「垂線」為最短。
最小二乘問題我們知道實係數線性方程組:
可能無解，記為（5.4.1）式，也就是任何一組實數x1,x2,x2,···,xs,都可能使：
不等於零，記為（5.4.2）式我們設法找x′1,x′2,···,x′s,使得上式最小，用它作為線性方程組的近似解，這樣的x′1,x′2,···,x′s成為方程組的最小二乘解，這種問題叫作最小二乘問題。
下面利用歐式空間的概念來表達最小二乘法，並給出最小二乘解所滿足的代數條件。令：
應用空間距離的概念，(5.4.2)式可寫為|y-b|2,最小二乘法就是找x′1,x′2,···,x′s，使y與b的距離|y-b|為最短，y可以表示成a的列向量的線性組合：
把a的各列向量記為α1,α2,···,αs,並設w=l(α1,α2,···,αs),則y∈w。
因此，為了找x使(5.4.2)式最小，即|y-b|2最小，就是要在w=l(α1,α2,···,αs)中找到乙個向量y，使得b到y的距離|y-b|比b到w中其他向量的距離都短。
應用前面的討論，如果y=x1α1+x2α2+···+xsαs就是所求的向量，那麼c=b-y=b-ax必垂直於子空間w，那麼c垂直於子空間w的充要條件是(α1,c)=(α2,c)=···=(αs,c)=0,可寫成：
因此由上式可得atc=0,即at(b-ax)=0,或atax=atb,這就是最小二乘解所滿足的線性方程組，它的係數矩陣是ata,常數項是asupb.
變數x和y之間最簡單的關係是線性方程y=β0+β1x,實驗中資料常給出點列(x1,y1),(x2,y2),···,(xn,yn),而它們的圖形近似於直線，我們希望確定引數β0和β1,使得直線盡可能「接近」這些點。
假若β0和β1固定，考慮直線y=β0+β1x，對應於每個資料點(xi,yi),相同的x座標下，直線上的點列為(xj,β0+β1xj),我們稱yi為y的觀測值，β0+β1xj為y的**值（由直線而定），觀測值和**值的差稱為餘差。
如果資料點在直線上，引數β0和β1滿足方程：
我們可以將上述方程寫成：
當然,如果資料點不在直線上，就沒有引數β0和β1使得xβ中的**值與觀測值相等，因而xβ=y沒有解，這就是ax=b的最小二乘解問題，只是換了種說法。
向量xβ與y的距離的平方精確表達為余差的平方和，於是使平方和最小的β同樣使xβ與y的距離最小，計算xβ=y的最下二乘問題等價於找出β，它確定的圖就是最小二乘直線。
（待更。。）
最小二乘法
include stdafx.h include include const int n 2 const int m 5 int sgn double x void lss double g n 1 int xm,int xn,double x m double p,double w m lss函式...
最小二乘法
在研究兩個變數之間的關係時，可以用回歸分析的方法進行分析。當確定了描述兩個變數之間的回歸模型後，就可以使用最小二乘法估計模型中的引數，進而建立經驗方程.簡單地說，最小二乘的思想就是要使得觀測點和估計點的距離的平方和達到最小.這裡的 二乘 指的是用平方來度量觀測點與估計點的遠近 在古漢語中 平方 稱為...
最小二乘法
最小二乘法 least squares analysis 是一種 數學 優化 技術，它通過 最小化 誤差 的平方和找到一組資料的最佳 函式 匹配。最小二乘法是用最簡的方法求得一些絕對不可知的真值，而令誤差平方之和為最小。最小二乘法通常用於 曲線擬合 least squares fitting 這裡有...