機器學習非監督分類之主成分分析(PCA)

2021-08-18 10:33:52 字數 457 閱讀 2475

主成分分析是非監督分類中基礎的演算法,應用於降低特徵的維度。

在介紹主成分分析之前,我們要先介紹一下特徵值和特徵向量,因為在後面我們要用到。

一、特徵值和特徵向量

特徵值如果有

此時γ為矩陣a的特徵值,對應的x為矩陣的特徵向量。對於不相同的特徵值,其特徵向量是正交的。

二、主成分分析

演算法:首先將x進行預處理;

1、計算x的期望e(x);

2、計算d = e(x-e(x));

3、計算xj = xj/djj, 得到新的x。

4、對x進行奇異值分解,選擇前m個奇異值得到a的近似矩陣;

4、或者求x的特徵值,將x的特徵值進行大到小排列,選擇前m個,有個準則q前特徵值的和佔總的85%以上就說明,從原圖中能好的繼承,由前m個特徵值對應的特徵向量構成降維矩陣。

三、主成分分析的優缺點:

優點:缺點:

待補充

機器學習演算法之 主成分分析(PCA)

降維是對資料高維度特徵的一種預處理方法。降維是將高維度的資料保留下最重要的一些特徵,去除雜訊和不重要的特徵,從而實現提公升資料處理速度的目的。在實際的生產和應用中,降維在一定的資訊損失範圍內,可以為我們節省大量的時間和成本。降維也成為了應用非常廣泛的資料預處理方法。1 使得資料集更易使用 2 降低演...

風火程式設計 機器學習之主成分分析 PCA

第一主成分 coding utf 8 import numpy as np import matplotlib.pyplot as plt x np.empty 100,2 x 0 np.random.uniform 0.100.size 100 x 1 0.75 x 0 3.np.random.n...

機器學習 主成分分析

那麼更好的理解這個過程呢?我們來看一張圖 假設對於給定5個點,資料如下 要求 將這個二維的資料簡化成一維?並且損失少量的資訊 這個過程如何計算的呢?找到乙個合適的直線,通過乙個矩陣運算得出主成分分析的結果 不需要理解 pca.fit transform x x numpy array格式的資料 n ...