降維(一) 說說主成分分析 PCA 的源頭

2022-03-16 03:57:45 字數 2068 閱讀 6042

降維(一)----說說主成分分析(pca)的源頭

降維系列:

主成分分析(pca) 在很多教程中做了介紹,但是為何通過協方差矩陣的特徵值分解能夠得到資料的主成分?協方差矩陣和特徵值為何如此神奇,我卻一直沒弄清。今天終於把整個過程整理出來,方便自己學習,也和大家交流。

還是以二維特徵為例,如下圖。特徵之間可能不存在完全的線性關係,可能只是強的正相關。如果把x-y座標分解成u1-u2座標,而u1軸線上反應了特徵的主要變化(intrinsic),而u2的特徵變化較小,其實可以完全理解為一些雜訊的擾動而不去考慮它。pca的任務就是找到u1和u2。

將每一維特徵的均值中心化,方差歸一化。

(1)其中x的上標i表示資料集中的第i個樣本,m表示資料集中的樣本總數。(因為x已經中心化了,所以xu的均值也為0,因此xu的平方只和就是方差。)

括號中的一項十分熟悉,就是協方差矩陣σ!終於知道協方差矩陣是怎麼來的了。再看一看上面的式子,協方差矩陣與投影的方向無關,之於資料集中的樣本有關,因此協方差矩陣完全決定了資料的分布及變化情況(請和自相關矩陣區別)。

目標函式如下:

(2)用拉格朗日乘數法求解上面的最大化問題,很容易得到:

(3)看見沒?!u就是σ的特徵向量,λ就是特徵值。我們再把(3)代入(2),目標函式就變成了

(4)可見,可以通過協方差矩陣的跡衡量方差的大小。最大的特徵值λ(以及對應的特徵向量u)決定了資料變化最大的方向。u就是這個單位方向。因此pca的求解過程就是對協方差矩陣進行特徵值分解,並找到最大的幾個特徵值的過程。

再後面的過程就是由最大的k個特徵值對應的特徵向量組成一組新的基(basis),讓原特徵對這個新的基投影得到降維後的新特徵。這個過程很多教程都介紹的很清楚了,我就不描述了。

不過我還是想補充一下矩陣及其特徵值的意義。矩陣應理解為一種空間變換(從乙個空間到另乙個空間的變換)。矩陣m是m×n維的,如果m=n則變換後空間維數不變,如果nm維空間的方式),而對應的特徵值,就是投影在基座標下相應維的響應程度。如果特徵值為0,代表在這一維下沒有相應,不管是多少,乘過來都是0。特徵值如果很接近0,那麼任何數在這一維下投影後都會變小很多。所以從降維的角度考慮,可以將這一維忽略(也就是pca中保留前k個特徵值的目的)。奇異值分解也是同樣的道理。

pca其實是最簡單的降維方法之一了,很明顯的劣勢是它僅去除資料之間的線性相關性。對線性的改善往往通過kernel技術拓展到非線性的應用上。另外,pca的這種降維不一定有助於分類,用於分類的降維方法之一就是lda。從另一方面說,pca是一種線性投影,保留了資料與資料之間的歐式距離,即原來歐式距離大的兩點在降維後的空間中距離也應大(這樣才好保證方差大)。而事實上資料有可能呈現某種流型結構,用pca降維後資料將不能保持原有的流型結構。在這一方面常用的非線性降維方法是locally linear embedding和laplacian eigenmaps,如下圖所示:

pca的另一種推導方式是最小化投影後的損失(把降維理解為壓縮,壓縮後還原所得到的誤差最小),在這篇文章中也有具體介紹,我也不多說了。

寫到這裡,才發現我啥也沒說,都是提供了各種文獻的鏈結

。另外,關於特徵值和特徵向量的更深理解,可以看本文。

jiang1st2010

降維(一) 說說主成分分析 PCA 的源頭

降維系列 主成分分析 pca 在 很多教程 中做了介紹,但是為何通過協方差矩陣的特徵值分解能夠得到資料的主成分?協方差矩陣和特徵值為何如此神奇,我卻一直沒弄清。今天終於把整個過程整理出來,方便自己學習,也和大家交流。還是以二維特徵為例,如下圖。特徵之間可能不存在完全的線性關係,可能只是強的正相關。如...

PCA主成分分析(降維)

opencv中使用 實現降維分類預處理 參考 降維 我的理解是,通過降維得到基本特徵可以加快學習演算法。並且由於降維後的資料本身就是正交的,和聚類一樣可以實現分類 識別問題。在自我學習中也可以採用大量無標註的影象,對這些影象降維分類,並結合部分編碼資料得到特徵。例如 將很2500張人臉資訊,通過25...

降維 PCA 主成分分析

其實早該整理一下pca了,怎奈一直沒有時間,可能是自己對時間沒有把握好吧,下面進入正題。所謂降維,就是降低資料的維數。在機器學習中尤其常見,之前做過對一幅提取小波特徵,對於一幅大小為800 600的,如果每個點提取五個尺度 八個方向的特徵,那麼每乙個畫素點提取40個特徵,那麼一副的話就是40 800...