1、簡單線性回歸
2、lwlr 區域性加權線性回歸
3、帶正則的線性回歸（ridge/lasso）
總結回歸演算法和分類演算法都屬於監督學習演算法，不同的使，分類演算法中的標籤使一些離散值，而回歸演算法中的標籤是一些連續值。回歸演算法通過訓練得到樣本特徵到這些標籤之間的對映，再用於**數值型資料。
常用於評價回歸演算法的好壞的指標為：
給定乙個資料集 (x,
y)
(x,y)
(x,y
) ，根據這個資料集訓練出乙個線性函式(1)f(
x)=w
tx+b
f(x)=w^tx+b\tag
f(x)=w
tx+b
(1)，然後測試這個函式是否足夠擬合訓練集資料，最終挑選出最好的線性函式。
例如：採用mse最為損失函式，並用los求解：l=1
n∑in
(yi−
f(xi
))
2l=\frac\sum_i^n(y_i-f(x_i))^2
l=n1i
∑n(
yi−
f(xi
))2
通過為 w 求導並令其為0，解出引數w=(
xtx)
−1xt
yw=(x^tx)^x^ty
w=(xtx
)−1x
ty.
lwlr 在lr的基礎上，進行了區域性加權，進而減小了均方誤差，並且防止了過擬合。演算法思想：在待**點附近的每個點賦予一定的權重，然後加權求和，然後在這個子集上基於最小均方誤差來進行普通的線性回歸。
w ^=
arg
minw∥
y−wx
w∥22
=(xt
wx)−
1xtw
y\hat w =\arg\min_w\|y-wx_w\|_2^2=(x^twx)^x^twy
w^=arg
wmin∥
y−wx
w∥2
2=(
xtwx
)−1x
twy求解方式是用了迭代加權最小二乘。
lr 和 lwlr 求解時都會計算 (xt
x)−1
(x^tx)^
(xtx)−
1，要求xtx
x^tx
xtx可逆，但是實際應用中很難滿足，所以引入了帶正則的線性回歸。
1-3是常用於處理回歸問題的演算法，4中一些演算法既可以用於分類用可以用於回歸。
線性回歸演算法學習
線性回歸 linear regression 是利用被陳偉線性回歸方程的最小平方函式對乙個或多個自變數和應變數之間關係進行建模的一種回歸分析。這種函式是乙個或多個稱為回歸係數的模型引數的線性組合。只有乙個自變數的情況稱為一元回歸,大於乙個自變數情況的叫做多元回歸。以下就以一元線性回歸為例，簡要說明何...
機器學習 回歸演算法
批量梯度下降法 批量梯度下降法是最原始的形式，它是指在每一次迭代時使用所有樣本來進行梯度的更新。從數學上理解如下 1 對目標函式求偏導 其中 i 1,2,m 表示樣本數，j 0,1 表示特徵數，這裡我們使用了偏置項 x i 0 1 2 每次迭代對引數進行更新 注意這裡更新時存在乙個求和函式，即為對所...
邏輯回歸學習筆記
邏輯回歸 邏輯回歸是乙個二分類問題，在分類過程值中可以得到代分類樣本所屬類別的概率。對於輸入x和輸出 結果y 邏輯回歸採用sigmoid函式，將實數域的x對映到 0 1 區間。sigmoid函式如下所示 h x 11 e x 則可以得到輸入x屬於正例和反例的概率，如下 py 1 x h x p y ...