主成分分析（PCA）與Kernel PCA

本部落格在之前的文章中曾經介紹過pca在影象壓縮中的應用。其基本思想就是設法提取資料的主成分（或者說是主要資訊），然後摒棄冗餘資訊（或次要資訊），從而達到壓縮的目的。本文將從更深的層次上討論pca的原理，以及kernel化的pca。

首先我們來考察一下，這裡的資訊冗餘是如何體現的。如下圖中的左圖所示，我們有一組二維資料點，從圖上不難發現這組資料的兩個維度之間具有很高的相關性。因為這種相關性，我們就可以認為其實有乙個維度是冗餘的，因為當已知其中乙個維度時，便可以據此大致推斷出另外乙個維度的情況。

為了剔除資訊冗餘，我們設想把這些資料轉換到另外乙個座標系下（或者說是把原座標系進行旋轉），例如像上圖中的右圖所示之情況，當然這裡通過平移設法把原資料的均值變成了零。下圖中的左圖是經過座標系旋轉之後的資料點分布情況。你可以看出，原資料點的兩個維度之間的相關性已經被大大削弱（就這個例子而言幾乎已經被徹底抹消）。