機器學習之線性回歸縮減維度

參考文獻

如上圖前面我們求解線性回歸的時候列舉的乙個例子。

這個例子中：

房子的面積，房間的數量，樓間距，離學校的距離我們的資料從這四個維度取例，也稱為資料的維度用d表示。

下面的每一行表示乙個房子的樣本。樣本可以有n 多個。

當我們資料的維度大於樣本的數量的時候我們稱為維數膨脹

在分析高維資料過程中碰到最大的問題就是維數的膨脹，也就是通常所說的「維數災難」問題。研究表明，隨著維數的增長，分析所需的空間樣本數會呈指數增長

如下所示，當資料空間維度由1增加為3，最明顯的變化是其所需樣本增加；換言之，當樣本量確定時，樣本密度將會降低，從而樣本呈稀疏狀態。假設樣本量n=12,單個維度寬度為3，那在一維空間下，樣本密度為12/3=4，在二維空間下，樣本分佈空間大小為3*3，則樣本密度為12/9=1.33，在三維空間下樣本密度為12/27=0.44。

設想一下，當資料空間為更高維時，x=[x1x1,x2x2,….,xnxn]會怎麼樣？

1,需要更多的樣本，樣本隨著資料維度的增加呈指數型增長；

2,資料變得更稀疏，導致資料災難；

3,在高維資料空間，**將變得不再容易；

4, 導致模型過擬合。

這裡我們先學習兩種 lasso ，前向逐步回歸法。

這篇文章詳細介紹了嶺回歸

我們得出如下公式：

這個lamda 幫我們解決了不是滿秩矩陣的問題。但是其中這個lamda 該取多少值呢？

因為 lamda 這個因子的不確定性所以得到權重也不太一樣。

從這個圖中我們可以發現隨著 lamda 逐漸變大，權重中的二維權重(x,y) y 值逐漸接近為 0 。

g(z)= w0x0 + 0x1那麼我們調節 lamda值就可以減少乙個維度的資料。所以嶺回歸不斷可以解決滿秩矩陣的問題，還可以縮減維度問題。

lasso 就是對上述的權重和 lamda 在做乙個限制。

nς | wk| ≤ λ

k=1在λ 足夠小的時候，一些係數會因此被迫縮減到 0 。這樣就可以減少若干係數。

前向逐步回歸法可以得到跟lasso 差不多的效果。但是更加簡單。它屬於貪心演算法。

上圖中的增大或者減少這樣操作。比如 g(z) = w0* x0 +ｗ1 * x1

讓w0 += 0.1 或者 w0 += -0.1 比較哪個誤差更小。誰小就取哪個。就跟盲人探路是一回事。盲人沒走一步就探測一下前面有坑沒有沒有就往前走，否則就往後退。

前向逐步回歸法**實現

#coding=utf-8
from numpy import
*import numpy as np 
import matplotlib.pyplot as plt 
filename=
'./ex1.txt'
#檔案目錄
defloaddataset
(filename)
: numfeat =
len(
open
(filename)
.readline(
).split(
'\t'))
-1datamat =
;labelsvec =
file
=open
(filename)
for line in
file
.readlines():
linearr =
curline = line.strip(
).split(
'\t'
)for i in
range
(numfeat)
:float
(curline[i]))
float
(curline[-1
]))return datamat,labelsvec
defrsserror
(yarr,yhatarr)
:#yarr and yhatarr both need to be arrays
return
((yarr-yhatarr)**2
).sum(
)def
stagewise
(xarr,yarr,eps=
0.01
,numit=10)
: xmat = mat(xarr)
; ymat=mat(yarr)
.t ymean = mean(ymat,0)
#ymat = ymat - ymean #can also regularize ys but will get smaller coef
#xmat = regularize(xmat)
m,n=shape(xmat)
returnmat = zeros(
(numit,n)
)#testing code remove
ws = zeros(
(n,1))
; wstest = ws.copy(
); wsmax = ws.copy(
)print
("wstest=="
,wstest)
for i in
range
(numit)
:print
( ws.t)
lowesterror = inf;
for j in
range
(n):
# 來回試探 看看 哪個適合
for sign in[-
1,1]
: wstest = ws.copy(
)print
("wstest[j]"
,wstest[j]
) wstest[j]
+= eps*sign
ytest = xmat*wstest
rsse = rsserror(ymat.a,ytest.a)
if rsse < lowesterror:
lowesterror = rsse
wsmax = wstest
ws = wsmax.copy(
) returnmat[i,:]
=ws.t
return returnmat
defplotline
(x,wmat)
: 
fig = plt.figure(
) ax = fig.add_subplot(
111)
#number = 20
ax.plot(wmat)
print
("x"
,x)#ax.plot(mat(x).t[:,1],wmat.t[:,1])
plt.show(
)def
teststage()
: x,y= loaddataset(filename)
wmat=stagewise(x,y)
plotline(x,wmat)
teststage(
)

前向逐步回歸法縮減引數

很多同學估計跟我一樣演算法看明白了但是這個怎麼就縮減引數了呢？非常感謝我的老朋友唐國斌給了我很大的啟發。

比如特徵值有10個， w就有10個，逐步向前回歸就是直接把10個特徵值，減少成9個 w也變成9個然後看減少後，比減少前是否好，如果好了，就減少，乙個個特徵值去試，看看直接刪除這個特徵值，會不會讓模型變得更好，有些特徵值，刪除反而比保留好，這個是因為這些值可能和其他幾個特徵值差不多就是資訊冗餘了

再次感謝老朋友唐國斌

機器學習之線性回歸縮減維度

機器學習之線性回歸

機器學習之線性回歸

機器學習之線性回歸

相關推薦