矩陣乘法對應乙個變換。該變換是把任意乙個向量變成另一方向或長度都大多不同的新向量。在這個變換過程中，原向量主要發生旋轉變換，伸縮變換。如果矩陣對某乙個向量或某些向量只發生伸縮變換，不對這些向量發生旋轉變換，那麼這些向量就稱為這個矩陣的特徵向量，伸縮的比例就是特徵值。
例如現在有乙個m*n的矩陣a，我們想要把其變換到新的m*n矩陣b，那麼就有a*c= b，其中c是n*n的變換矩陣。而我們僅僅希望a進行伸縮變換，那麼c就是a的特徵向量構成的矩陣，特徵值決定了其在對應的特徵向量的伸縮比例。
現有m個n維觀測樣本a(m*n維，每行代表乙個樣本)，我們同樣希望將其變換到新的樣本矩陣b(m*n維)。那麼就有a * c = b，其中c是n*n的變換矩陣。現在我們希望從a變換到b僅僅發生伸縮變換，伸縮變換體現了每個樣本在變換後僅僅沿著某個方向進行伸縮，而伸縮比例體現了每個樣本在在該方向上的離散程度。這樣，變換矩陣c的特徵向量構成的矩陣對a的變換僅僅有伸縮變換。那麼，該怎麼確定變換矩陣c呢？我們關心的僅僅是變換矩陣的特徵向量，而不關心變換矩陣c。對樣本矩陣a求解協方差，得到其協方差矩陣d，d剛好是n*n，可以作為乙個變換矩陣c。這樣求解出d的特徵向量構成矩陣e作為變換矩陣就能實現a*e=b僅僅對a沿著某些方向進行伸縮變換。當然，對於e可以選擇若干維n*d(d在做類別**時，伸縮性可以保證新的樣本(在d維子空間中的樣本)在較大特徵值對應下的特徵向量伸縮比例大(分散大)，從而使得在該方向具有可分性。
pca就是利用上述這種思想。其具體步驟分為
1. 將樣本資料集按行存放構成樣本矩陣amn
2.將資料樣本集中心化即去掉各維度的均值。
2. 求解該矩陣的協方差矩陣d(作為變換矩陣的一種選擇)
3.求解該協方差矩陣d的特徵值以及對應的特徵向量。並按特徵值大小排序
4.取前d(d<=n)維構成新的轉換矩陣e(n*d)。當d以上是我的初步理解。若有錯誤歡迎指正。後期將進行更改提供具有推導過程和應用舉例。
pca用於人臉檢測
pca主成分分析 PCA主成分分析（中）
矩陣 matrix，很容易讓人們想到那部著名的科幻電影 駭客帝國 事實上，我們又何嘗不是真的生活在matrix中。機器學習處理的大多數資料，都是以 矩陣 形式儲存的。矩陣是向量的組合，而乙個向量代表一組資料，資料又是多維度的。比如每個人的都具有身高 體重 長相 性情等多個維度的資訊資料，而這些多維度...
主成分分析PCA
主要參考這篇文章 個人總結 pca是一種對取樣資料提取主要成分，從而達到降維的目的。相比於上篇文章介紹到的svd降維不同，svd降維是指減少資料的儲存空間，資料的實際資訊沒有缺少。個人感覺pca更類似與svd的去噪的過程。pca求解過程中，涉及到了svd的使用。針對資料集d 假設di 的維度為 w ...
PCA 主成分分析
在進行影象的特徵提取的過程中，提取的特徵維數太多經常會導致特徵匹配時過於複雜，消耗系統資源，不得不採用特徵降維的方法。所謂特徵降維，即採用乙個低緯度的特徵來表示高緯度。將高緯度的特徵經過某個函式對映至低緯度作為新的特徵。pca和lda區別 pca是從特徵的角度協方差角度 求出協方差矩陣的特徵值和特徵...