最小二乘法，又稱最小平方法，是機器學習中基礎的演算法之一，它是一種優化演算法，通過最小化誤差的平方來尋找資料的最佳函式匹配。利用最小二乘法可以簡便地求得未知的資料，並使得這些求得的資料與實際資料之間誤差的平方和為最小。在機器學習中，還可以使用最小二乘法來進行曲線擬合。
上圖介紹的上海市長寧區部分房價的資訊，從散點圖可以發現，房子的大小和房價彼此之間有一些依賴關係，由房子大小可以決定房子的**，但是這種關係又是不確定的，這時候我們可以利用統計學中的回歸模型來尋找這兩個變數之間的關係。具體步驟如下：
畫散點圖，直觀判斷；
用近似模型來描述它們的關係，如一元線性模型；
建立回歸模型；
對模型進行引數估計，最小二乘法是這些引數估計的一種常用的方法，這也是本篇博文講述的重點；
討論模型的效果；
為了描述簡單，本篇文章將採用一元線性模型（y=
w0+w
1x）建立回歸模型來介紹最小二乘法。yi
^=w0
+w1x
i（式1
−1）
其中，yi^
是根據回歸模型求得的值，則yi
和yi^
的差就是該模型的誤差。則平方損失函式為： s=
∑i=1
n(yi
−yi^
)2=∑
i=1n
(yi−
w0−w
1xi)
2（式1
−2）
分別對w0,
w1求偏導得： ∂s
∂w0=
−2∑i
=1n(
yi−w
0−w1
xi)（
式1−3
） ∂s
∂w1=
−2∑i
=1n(
yi−w
0−w1
xi)(
−xi)
（式1−
4）根據我們的數學知識，函式的極值點為偏導數為0的點。即 ∂s
∂w0=
0（式1
−5）
∂s∂w
1=0（
式1−6
） 亦即 nw0
+∑i=
1n(x
i)w1
=∑i=
1nyi
（式1−
7） ∑
i=1n
(xi)
w0+(
∑i=1
nx2i
)w1)
=∑i=
1n(x
iyi)
（式1−
8）對式1-7和式1-8求解得： w0
=∑ni
=1yi
n−w1
∑ni=
1xin
（式1−
9） w
1=[n
∑ni=
1xiy
i−(∑
ni=1
xi∑n
i=1y
i)n∑
ni=1
x2i−
(∑ni
=1xi
)2（式
1−10）
此時,把w0
,w1 帶入式1-1，就是我們要求的回歸模型。
機器學習經典演算法之 最小二乘法
一.背景 通過這段描述可以看出來，最小二乘法也是一種優化方法，求得目標函式的最優值。並且也可以用於曲線擬合，來解決回歸問題。難怪 統計學習方法 中提到，回歸學習最常用的損失函式是平方損失函式，在此情況下，回歸問題可以著名的最小二乘法來解決。看來最小二乘法果然是機器學習領域做有名和有效的演算法之一。二...
機器學習經典演算法之 最小二乘法
一.背景 通過這段描述可以看出來，最小二乘法也是一種優化方法，求得目標函式的最優值。並且也可以用於曲線擬合，來解決回歸問題。難怪 統計學習方法 中提到，回歸學習最常用的損失函式是平方損失函式，在此情況下，回歸問題可以著名的最小二乘法來解決。看來最小二乘法果然是機器學習領域做有名和有效的演算法之一。二...
線性回歸之最小二乘法
線性回歸是很常見的一種回歸，線性回歸可以用來 或者分類，主要解決線性問題。線性回歸過程主要解決的就是如何通過樣本來獲取最佳的擬合線。最常用的方法便是最小二乘法，它是一種數學優化技術，它通過最小化誤差的平方和尋找資料的最佳函式匹配。假設擬合直線為y ax b 對任意樣本點 x i,yi 誤差為e yi...