一、關於最佳**係數方程（矩陣形式的推理）
二、總結最小二乘：梯度下降法、牛頓法、高斯牛頓法
最小二乘法（又稱最小平方法）是一種數學優化技術。它通過最小化誤差的平方和尋找資料的最佳函式匹配。利用最小二乘法可以簡便地求得未知的資料，並使得這些求得的資料與實際資料之間誤差的平方和為最小。最小二乘法還可用於曲線擬合。其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。
線性最小二乘的基本公式：
考慮超定方程組（超定指方程個數大於未知量個數）：∑j=
1nxi
jβj=
yi(i
=1,2
,3,.
..,m
)\sum\limits_^nx_\beta_j=y_i(i=1,2,3,...,m)
j=1∑n
xij
βj=
yi(
i=1,
2,3,
...,
m)其中m代表有m個等式，n代表有 n 個未知數 ，m>n ；將其進行向量化後為：xβ=
yx\beta=y
xβ=y
x =x
11x12.
..x1
nx21x
22...
x2n.
....
....
xn1x
n2..
.xnn
x=\beginx_&x_&...&x_\\x_&x_&...&x_\\.&.&&.\\.&.&&.\\.&.&&.\\x_&x_&...&x_\end
x=x11
x21
...x
n1
x12
x22
...x
n2
....
....
.x1
nx2
n..
.xnn
， β =β
1β2.
..βn
\beta=\begin\beta_\\\beta_\\.\\.\\.\\\beta_\end
β=β1β
2..
.βn
， y=y
1y2.
..ym
y=\beginy_\\y_\\.\\.\\.\\y_\end
y=y1y
2..
.ym
顯然該方程組一般而言沒有解，所以為了選取最合適的 讓該等式"盡量成立"，引入殘差平方和函式s(β
)=∥x
β−y∥
2s(\beta)=\parallel\parallel^2
s(β)=∥
xβ−y
∥2（在統計學中，殘差平方和函式可以看成n倍的均方誤差mse）
當β =β
^\beta=\hat
β=β^
時， s(β
)s(\beta)
s(β)
取最小值，記作：β^=
argm
in(s
(β))
\hat=argmin(s(\beta))
β^=ar
gmin
(s(β
))通過對 s(β
)s(\beta)
s(β)
進行微分求最值，可以得到：xtx
β^=x
tyx^tx\hat=x^ty
xtxβ^
=xty
如果矩陣xtx
x^tx
xtx 非奇異，則 β
\beta
β 有唯一解:
β ^=
(xtx
)−1x
ty\hat=(x^tx)^x^ty
β^=(x
tx)−
1xty
以上是常規的思路，即對目標函式s(β
)=∥x
β−y∥
2s(\beta)=\parallel\parallel^2
s(β)=∥
xβ−y
∥2進行求導，當其導數為0的時候，求 β
\beta
β 的最優解，最終求得極值，這裡需要注意導數為0的點，不一定就是極值點，可能會是鞍點。
然而，有些時候，若目標函式 s(β
)=∥x
β−y∥
2s(\beta)=\parallel\parallel^2
s(β)=∥
xβ−y
∥2不是很容易進行求導，就需要使用一些迭代的方法，來使得目標函式 s(β
)s(\beta)
s(β)
下降，這樣就可以逐步迭代，求得最小值了。整個的迭代流程如下所示：
1.給定某個初始值β
0\beta_0
β0 ；
2.對於第k次迭代，尋找乙個增量 δβk
\delta\beta_k
δβk
，使得 s(β
k+δβ
k)s(\beta_k+\delta\beta_k)
s(βk+
δβk
)達到極小值；
3.若 δβk
\delta\beta_k
δβk
足夠小，停止迭代；
4.否則，令βk+
1=βk
+δβk
\beta_=\beta_k+\delta\beta_k
βk+1=
βk+
δβk
，返回第二步。
因此，上訴問題，就變成了不斷尋找下降增量 δβk
\delta\beta_k
δβk
的問題。
為了方便求解，我們只需要關心誤差函式s(β
)s(\beta)
s(β)
在迭代值處的區域性性質，而不用考慮min
(s(β
))min(s(\beta))
min(s(
β)) 在迭代值處的全域性性質，這種方法在最優化，機器學習領域使用的非常廣泛。
最小二乘法解法一之牛頓法：
牛頓法最小二乘法解法二之最小梯度法：
最小梯度法
最小二乘法解法三之高斯牛頓法：
高斯牛頓法
最小二乘 加權最小二乘 matlab實現
最小二乘 最小二乘法 又稱最小平方法 是一種數學優化技術。它通過最小化誤差的平方和尋找資料的最佳函式匹配。利用最小二乘法可以簡便地求得未知的資料，並使得這些求得的資料與實際資料之間誤差的平方和為最小 最小二乘法還可用於曲線擬合，其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。加權最小...
最小二乘擬合 6 7 最小二乘擬合問題
資料擬合問題的一般形式 任給一組離散資料 注 這裡的擬合函式不一定為多項式函式 記殘量的平方和為 求使得殘量平方和最小得一組係數就是線性最小二乘問題，為最小二乘問題得基函式，求得的擬合函式為資料的最小二乘擬合。求解 利用偏導數為零得到極值點的原理可以得到最小二乘問題滿足的方程組，求解方程組中未知係數...
說說最小二乘
最小二乘是用於根據取樣結果計算 最佳引數 的常用方法。本文簡要描述最小二乘的原理和計算方法。假設我們有乙個系統，我們知道這個系統的響應函式f是某組自變數的線性方程。不失一般性，我們以三個自變數的系統為例，對於自變數x,y,z，系統輸出f滿足f f x,y,z ax by cz d，而a,b,c,d的...