華電北風吹
日期：2015/11/25
本文主要對嶺回歸(ridge regression)進行總結。
本系列的第一篇中線性回歸的轉化為如下的無約束優化問題
minθ∑m
i=1(
y(i)
−θtx
(i))
2(0-1)
其中，x(
i)∈r
n×1 表示每個樣本都是n維向量，y(
i)表示樣本x(
i)對應的標籤，θ∈
rn×1
表示引數向量。與之等價的矩陣形式為
minθ||
xθ−y
||22
(0-2)
其中x=
(x(1
),x(
2),.
..,x
(m))
t∈rm
×n,y
=(y(
1),y
(2),
...,
y(m)
)t.一、嶺回歸
嶺回歸的目標表示式為
min∑mi
=1(y
(i)−
θtx(
i))2
+λ⋅|
|θ||
22(1-1)
二、嶺回歸的矩陣求解
可以使用與最小二乘矩陣解法類似的矩陣求導來求解嶺回歸問題 令 s
(θ)=
∑mi=
1(y(
i)−θ
tx(i
))2+
λ⋅||
θ||2
ddθs(θ)
=ddθ
s(θ)
=2xt
(y−x
θ)+2
λ⋅θ=
0 即x
ty=(
xtx−
λi)⋅
θ 解得： θ=
(xtx
−λi)
−1xt
y(2-1)
三、嶺回歸引數
θ 的svd幾何解釋
同本系列第一篇文章對於線性回歸的svd解釋， 假設x
∈rm×
n 的svd分解為 x=
uσvt
(3-1)
其中u=
(u1,
u2,.
..,u
n)∈r
m×n ,σ=
diag
(σ1,
σ2,.
..,σ
n)∈r
n×n ,v=
(v1,
v2,.
..,v
n)∈r
n×n ，v1
,v2,
...,
vn是原始樣本空間的一組標準正交基，u1
,u2,
...,
un分別是原始樣本在這組基下的正交標準化座標。 xt
x=(u
σvt)
tuσv
t=vς
utuς
vt=v
σ2vt
(3-2)
對於線性回歸θl
r=(x
tx)−
1xty
可得θl
r=∑n
i=11
σivi
utiy
對於嶺回歸 θr
idge
=(xt
x−λi
)−1x
ty=v
(σ2+
λi)−
1σut
y=∑n
i=1σ
iσ2i
+λvi
utiy
(3-3) 對
λ 定性分析可以發現，嶺回歸求解的
θ 相對於線性回歸來說要更加偏向於向零收縮，並且隨著
λ 增加收縮幅度更大(如下圖)，例如當λ=
0 時，嶺回歸和線性回歸求解得到的
λ 是相同的，當λ=
∞ 時θ=
λ 四、參考部落格
ml—線性回歸系列（一）—線性回
歸
ML 線性回歸
說句廢話，相信大多數人和我一樣，最開始學習機器學習遇到的第乙個模型便是線性回歸，而且是一元線性回歸，但就這個模型，其實包含了很多的知識點，矩陣計算，最小二乘 梯度下降等知識點。我認為非常的有趣。這裡只是乙個簡單的介紹。1問題的引入 假設有乙個房屋銷售的資料如下 面積銷售 123250 150320 ...
ML 線性回歸系列（四） lasso mtl
andrew zhang nov 25,2015 本文主要對套索回歸 lasso 進行總結。本系列的第一篇中線性回歸的轉化為如下的無約束優化問題 min m i 1 y i tx i 2 0 1 其中，x i r n 1 表示每個樣本都是n維向量，y i 表示樣本x i 對應的標籤，rn 1 表示引...
線性回歸的改進 嶺回歸
嶺回歸，其實也是一種線性回歸。只不過在演算法建立回歸方程時候，加上正則化的限制，從而達到解決過擬合的效果。normalize 資料是否進行標準化 ridge.coef 回歸權重 ridge.intercept 回歸偏置 ridge方法相當於sgdregressor penalty l2 loss s...