機器學習001 PCA與LLE

2022-07-28 07:06:11 字數 2023 閱讀 8771

參考: lle原理總結

pca 降維的缺陷:高維空間各個樣本之間存在一些線性關係,降維之後並沒有保留這些關係。比如,在高維空間中,其最短路徑並不是三維空間中的兩點之間直線最短,而是如下圖的曲面距離,而我們降維後,就變成了投影距離。

因此,我們希望能夠保留原空間的距離(只是乙個例子),如下圖,是將原曲面展開,而不是直接投影到平面中。

lle 演算法

與 pca 不同的是,lle 保留了高維空間的區域性線性關係。

lle在降維之前,先訓練出每個樣本與其最近的k個樣本的線性關係——weights,再把該線性關係套用在降維空間後的每個樣本。

參考:pca與kernel pca

【關於降維/冗餘】

如何理解冗餘?

如何用數學來表示這種思想?

方差/協方差最大化,即投影後的點之間方差最大。方差和協方差的關係:當資料點歸一化和中心化後,二者最大化的方法是等價的,一般直接求協方差的最大化。具體參考鏈結的公式推導。

【kernel pca】

假設k是已知的。

與上面的一樣,我們同樣要求協方差的最大化,

\[\begin

c&=\sum_^\phi(x_i)\phi(x_i^t)\\

&=[\phi(x_1),...,\phi(x_n)]\begin\phi(x_1)^t\\...\\\phi(x_n)^t\end\\

&=x^tx\\

\end

\]但是,φ是未知的,或者難以計算的,因此我們設法借助核函式來求解.

\[\begin

k&=xx^t\\

&=\begin\phi(x_1)^t\\...\\\phi(x_n)^t\end[\phi(x_1),...,\phi(x_n)]\\

&=\begin\phi(x_1)^t\phi(x_1) &... &\phi(x_1)^t\phi(x_n)\\

...&...&...\\

\phi(x_n)^t\phi(x_1)&...&\phi(x_n)^t\phi(x_n)\end\\

&=\begink(x_1,x_1) &... &k(x_1,x_n)\\

...&...&...\\

k(x_n,x_1)&...&k(x_n,x_n)\end

\end

\]【注意】這裡的k=xxt和要求的協方差xtx並不相等,但二者肯定存在某種關係:

\[\begin

xx^tu&=\lambda u&u為單位化的特徵向量\\

x^tx(x^tu)&=\lambda (x^tu) &x^tu為特徵向量,但不一定是單位化的\\

\end

\]因此,要對特徵向量x^tu單位化:

\[v=\frac=\frac}=\frac}=\frac}\\

其中,u^tu=1,v可以看作乙個方向軸/維度\\

記\alpha=\frac},為乙個列向量v,所以:v=\sum_^\alpha_i\phi(x_i)

\]但是,x^t仍然是未知的,所以v也是未知的,即高維度的特徵空間的方向軸未知,但是,我們可以直接求φ(xj)在特徵空間v方向上的投影(這才是我們最終目的):

\[\begin

v^t\phi(x_j)&=\frac}\\

&=\frac}\begin\phi(x_1)^t\\...\\\phi(x_n)^t\end\phi(x_j)\\

&=\frac}\begink(x_1,x_j)\\...\\k(x_n,x_j)\end

\end

\]因此,我們只要求出核函式的特徵值及其對應的單位特徵向量,就可以得到高維空間的投影。

機器學習 PCA

介紹 pca是一種無監督學習的降維技術 思想1.投影後樣本越分散,保留的資訊越多 2.pca的主要思想是將n維特徵對映到k維上,這k維是全新的正交特徵也被稱為主成分,是在原有n維特徵的基礎上重新構造出來的k維特徵 做法1.將所有的樣本點向直線w投影 2.目標函式 讓投影後樣本的方差極大 第一步 x減...

機器學習 LDA與PCA演算法

linear discriminant analysis 用途 資料預處理中的降維,分類任務 歷史 ronald a.fisher在1936年提出了線性判別方法 線性判別分析 lda 目標 lda關心的是能夠最大化類間區分度的座標軸成分 將特徵空間 資料集中的多維樣本 投影到乙個維度更小的 k 維子...

sklearn機器學習 PCA

pca使用的資訊量衡量指標,就是樣本方差,又稱可解釋性方差,方差越大,特徵所帶的資訊量越多 原理推導 class sklearn decomposition.pca n components none,copy true whiten false svd solver auto tol 0.0,it...