所謂回歸分析實際上就是根據統計資料建立乙個方程， 用這個方程來描述不同變數之間的關係， 而這個關係又無法做到想像函式關係那樣準確， 因為即使你重複全部控制條件，結果也還有區別， 這時通過讓回歸方程計算值和試驗點結果間差值的平方和最小來建立 回歸方程的辦法就是最小二乘法，二乘的意思就是平方。 最小二乘就是指回歸方程計算值和實驗值差的平方和最小。
首先普通最小二乘法是作為回歸來使用，將**值和真實值去比較，是這個誤差函式最小，至於為什麼叫二乘，因為這裡取得是**值和真實值的平方。
普通最小二乘法經常會引起欠擬合，因為普通最小二乘法將所有的序列值設定為相同的權重；但是對於實際中來說，乙個時間序列，最近發生的應該比先前發生的更加重要，所以我們應該將最近發生的賦予更大的權重，先前發生的賦予小一點的權重，這種就變成了加權最小二乘法。
對於普通最小二乘法，因為種種原因（原因以後分析。。）殘差項要滿足很多的條件，如同方差性，但是因為現實中的資料可能達不到這樣那樣的要求，所以這個時候就出現了廣義最小二乘法，所以如下引用：
1.如果存在外部協方差,即協方差陣不是對角陣，就是廣義最小二乘2.如果協方差陣是對角陣，且對角線各不相等，就是權重最小二乘
3.如果協方差陣是對角陣，且對角線相同，就是普通最小二乘
另外在知乎上看到乙個比較形象的解釋：
簡單舉個例子，具體就不用符號了，推來推去太複雜。假設你有一把尺子，去測量乙個物體的長度。你用同一把尺子測量n次，每次的測量誤差就是這個尺子的誤差（忽略其他因素），這就是我們所說的最小二乘裡的同方差假定。現在你換一種方法，還是測量n次，但是你每次測量用的尺子精度不一樣，有點大，有的小。這就是說所謂的「異方差」，這個時候你用普通最小二乘，就會導致估計不一致，這個時候，你想到乙個辦法就是，對於估計量中的樣本，除以相應樣本的那把尺子的誤差，這樣處理之後，就又變成同方差了。
加權最小二乘法
原理簡介 最小二乘估計演算法是 gauss 於 1795 年為研究行星軌道問題而提出來的。這種演算法的優點就是簡單 易實現。但是常規的最小二乘演算法估計精度並不高，原因主要在於沒有考慮量測資訊統計特性的優劣就直接使用了量測資訊。如果採用加權的方法區分各量測資訊的優劣，就可以大幅度的提高估計精度。加權...
普通最小二乘法
print doc 輸出檔案開頭注釋的內容 import matplotlib.pyplot as plt import numpy as np from sklearn import datasets,linear model from sklearn.metrics import mean sq...
最小二乘法
include stdafx.h include include const int n 2 const int m 5 int sgn double x void lss double g n 1 int xm,int xn,double x m double p,double w m lss函式...