已知有一組資料，在座標系中表示成一組點集n。現在的目標是估計出一條經過點集n的直線，
要求直線滿足一定的準則。不同的準則最後定義不同的優化方法，這裡我們通過定義兩種不
同的準則，來引出最小二乘和加權最小二乘的介紹。
首先回到直線擬合的這個問題中來。一般假設點集n中的點是通過對直線進行取樣獲得，通常
取樣的過程中會有誤差的干擾。所以我們直觀要求直線經過所有點集n的中心地帶，不偏重任
何取樣點，求乙個全域性上的最優。這個的直觀要求可以通過數學方法來表示。
點集n中的所有取樣點所擬合的直線y=kx+b的係數可從上面的目標函式中獲得。
通過分別對變數k和變數b進行求導後，得到：
經過簡單的推導後，可以得到k和b的解析解。
這個準則與之前分別稱為l1和l2準則。l2準則易優化，可以直接求導，有解析解。
對於l1準則，一般是用不等式來逼近，這裡我們介紹乙個求取l1準則下的k和b的方法，稱為加權最小二乘。
因為：
所以等式右邊對k和b進行求導會有：
從上式中看到不易得到k和b的解析解，那麼我們利用數值計算中常用的方法，利用迭代的方法來求取k和b。
令
每次計算時，一般以l2準則得到的解作為起始值。每次都以上次的值來更新w_i的結果。
那麼最後有：
最小二乘 加權最小二乘 matlab實現
最小二乘 最小二乘法 又稱最小平方法 是一種數學優化技術。它通過最小化誤差的平方和尋找資料的最佳函式匹配。利用最小二乘法可以簡便地求得未知的資料，並使得這些求得的資料與實際資料之間誤差的平方和為最小 最小二乘法還可用於曲線擬合，其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。加權最小...
最小二乘擬合 6 7 最小二乘擬合問題
資料擬合問題的一般形式 任給一組離散資料 注 這裡的擬合函式不一定為多項式函式 記殘量的平方和為 求使得殘量平方和最小得一組係數就是線性最小二乘問題，為最小二乘問題得基函式，求得的擬合函式為資料的最小二乘擬合。求解 利用偏導數為零得到極值點的原理可以得到最小二乘問題滿足的方程組，求解方程組中未知係數...
普通最小二乘法 加權最小二乘法 廣義最小二乘法
所謂回歸分析實際上就是根據統計資料建立乙個方程，用這個方程來描述不同變數之間的關係，而這個關係又無法做到想像函式關係那樣準確，因為即使你重複全部控制條件，結果也還有區別，這時通過讓回歸方程計算值和試驗點結果間差值的平方和最小來建立 回歸方程的辦法就是最小二乘法，二乘的意思就是平方。最小二乘就是指回歸...