主成分分析(PCA)

2021-08-28 09:15:41 字數 479 閱讀 7991

1.pca的原理

主成分分析pca(principal component analysis)是一種降維的方法。在pca中,資料集被從原來的座標系統轉換到乙個新的座標系統。

座標系的選擇是有資料決定的,第乙個座標選擇是原始資料中方差最大的方向,第二個座標軸選擇是跟第乙個座標軸正交,並且具有最大方差的方向。其他座標軸的選擇跟這個一樣的做法。

這樣大部分方差大的座標就在前幾個座標系裡面了。

2.pca計算方法:

① 計算資料集的列平均值

②用資料集-列平均值

③計算協方差矩陣

④計算協方差矩陣對應特徵值和特徵向量

⑤按照特徵值從大到小的順序對特徵向量進行排序。

⑥選取前k個特徵值對應的特徵向量,組成新的矩陣w

⑦應用新生成的矩陣w計算在新空間中元資料x的座標。y=

3.在scikit-learn中通過sklearn.decomposition.pca類實現pca的處理。

pca主成分分析 PCA主成分分析(中)

矩陣 matrix,很容易讓人們想到那部著名的科幻電影 駭客帝國 事實上,我們又何嘗不是真的生活在matrix中。機器學習處理的大多數資料,都是以 矩陣 形式儲存的。矩陣是向量的組合,而乙個向量代表一組資料,資料又是多維度的。比如每個人的都具有身高 體重 長相 性情等多個維度的資訊資料,而這些多維度...

主成分分析PCA

主要參考這篇文章 個人總結 pca是一種對取樣資料提取主要成分,從而達到降維的目的。相比於上篇文章介紹到的svd降維不同,svd降維是指減少資料的儲存空間,資料的實際資訊沒有缺少。個人感覺pca更類似與svd的去噪的過程。pca求解過程中,涉及到了svd的使用。針對資料集d 假設di 的維度為 w ...

PCA 主成分分析

在進行影象的特徵提取的過程中,提取的特徵維數太多經常會導致特徵匹配時過於複雜,消耗系統資源,不得不採用特徵降維的方法。所謂特徵降維,即採用乙個低緯度的特徵來表示高緯度。將高緯度的特徵經過某個函式對映至低緯度作為新的特徵。pca和lda區別 pca是從特徵的角度協方差角度 求出協方差矩陣的特徵值和特徵...