主成分分析（principal component analysis, pca）。
1、樣本
1.1、樣本資料集
匯入乙個二維的資料集並顯示，得到。
1.2、執行pca演算法
pca演算法包括如下幾個部分：
對原始資料進行歸一化：其歸一化的演算法為x:=(x-mu)/sigma，其中mu為資料的均值，sigma為資料的標準差。
計算資料的協方差矩陣：
對協方差矩陣進行奇異值分解：
若降為k維，則取ureduce = u(:,1:k)；
降維後的資料為z = ureduce』 * x 。
完善函式[u, s] = pca(x)有：
function [u, s] = pca(x)
[m, n] = size(x);
u = zeros(n);
s = zeros(n);
sigma = x'*x/m;
[u,s,v] = svd(sigma);
end
1.3、使用pca降維
完成對映函式z = projectdata(x, u, k)：
function z = projectdata(x, u, k)
z = zeros(size(x, 1), k);
ureduce = u(:,1:k);
z = x * ureduce;
end
function x_rec = recoverdata(z, u, k)
x_rec = zeros(size(z, 1), size(u, 1));
ureduce = u(:,1:k);
x_rec = z * ureduce';
end
2、人臉影象資料集
原始資料中前100幅人臉影象為
將1024維影象降維至100維
原始影象與pca重建的影象對比為
吳恩達機器學習 筆記九 PCA降維
1.資料降維 資料降維的動力主要來自資料壓縮和資料視覺化。下圖中的資料雖然是在乙個三維空間裡，但是用乙個二維的平面基本上就是可以描述出來的，所以我們可以把資料降到二維。2.pca演算法 第一步是均值歸一化。我們需要計算出所有特徵的均值，然後令 如果特徵是在不同的數量級上，我們還需要將其除以標準差 第...
吳恩達機器學習ex7
這一部分實現k means聚類方法並用於影象壓縮。k mean演算法是一種自動將相似資料聚類到一起的方法。該演算法是乙個迭代的過程，開始時隨機設定乙個質心，之後重複地將資料點分配到離其最近的質心，再重新計算質心。演算法過程就是重複以下兩個步驟 1 將每個樣本點分配到最近的質心 2 重新計算每個類的均...
吳恩達機器學習筆記 15 降維
本章重點講述了降維方法以及其中最主要的pca主成分分析的原理 使用 降維的第乙個作用就是進行資料的壓縮，解決磁碟和計算的問題。比如把二維資料降維到一維 或者資料從三維降維到2維。降維的另乙個作用就是進行視覺化，比如我們的資料有很多維度，如果想要在圖形上展示各個資料，分析其關係是很難的。那麼就可以把資...