假設資料是 (y嶺回歸： β̂i;xi
1,…,
xip)
,i=1
,2,…
,n.
高維資料(大
p )分析方法：
1. 降維：嶺回歸（ridge regression）；lasso; dantzig selector
2. 特徵提取: 主成分分析（pca）
ridg
e=(y
−xβ)
t(y−
xβ)+
λ∥β∥
22對設計矩陣
x x=
udvt
其中，d=d
iag(
d1,…
,dp)
. u,
v 均為正交矩陣. 帶入β̂
ridg
e 可得 β̂
ridg
e=v[
diag
(d1d
21+λ
,…,d
pd2p
+λ)]
uty
性質：
1. 有偏 e(
β̂ ri
dge)
≠β2. va
r(xβ
̂ rid
ge)≤
var(
xβ̂ o
ls)
3. λ
增大，β̂
ridg
e→0 (但很少=0)
4. 需要人為選擇乙個閾值
δ ，當β̂
ridg
ej<
δ 時，認為β̂
ridg
ej=0
5. 適用於
x 非奇異但是高度線性相關（接近奇異）的情況下
例如：data 為longley，x=( gnp, unemployed, armed.forces, population, year, employed)，6個輸入變數。
r code:
library(mass)
longley # not the same as the s-plus dataset
names(longley)[1]
cor(longley)
lm.ridge(y ~ ., longley)
plot(lm.ridge(y ~ ., longley,
lambda = seq(0,0.1,0.001)))
select(lm.ridge(y ~ ., longley,
lambda = seq(0,0.1,0.0001)))
最終β̂ rid
ge=(
2946.86
,0.26
,0.04
,0.01,−
1.74,−
1.42
,0.23).
變數間的線性相關性:
6個自變數之間高度線性相關，隨著
λ 的增大，回歸係數的變化：
嶺回歸 lasso回歸
嶺回歸 ridge regression 和lasso least absolute shrinkage and selection operator 都是ols的改進，知乎上有關於三者異同的詳細討論 關於lasso 這裡記錄一下最近的學習心得。嶺回歸的含義 嶺回歸的權值計算公式中有單位方陣i，就像...
核心嶺回歸
kernel ridge regression krr 核心嶺回歸 它所學習到的在空間中不同的線性函式是由不同的核心和資料所導致的。對於非線性的核心，它與原始空間中的非線性函式相對應。由kernelridge學習的模型的形式與支援向量回歸 svr 是一樣的。但是他們使用不同的損失函式 核心嶺回歸 k...
嶺回歸演算法
回歸演算法的本質上就是為了解決乙個線性方程 ax b 標準估計方法是普通的最小二法的線性回歸，然而如果x是乙個病態的矩陣，在這種情況下使用普通最小二法估計會導致過擬合或者欠擬合的情況。此外，嶺回歸還可以處理矩陣陣列的多重共線性問題。通常最小二乘法尋求的是最小花平方殘差的綜合，公式 在嶺回歸中，在這種...