LDA與PCA都是常用的降維方法,二者的區別

2021-08-31 21:26:18 字數 699 閱讀 3899

分享一下我老師大神的人工智慧教程!零基礎,通俗易懂!

從主觀的理解上,主成分分析到底是什麼?它其實是對資料在高維空間下的乙個投影轉換,通過一定的投影規則將原來從乙個角度看到的多個維度對映成較少的維度。到底什麼是對映,下面的圖就可以很好地解釋這個問題——正常角度看是兩個半橢圓形分布的資料集,但經過旋轉(對映)之後是兩條線性分布資料集。

lda與pca都是常用的降維方法,二者的區別在於:

上圖左側是pca的降維思想,它所作的只是將整組資料整體對映到最方便表示這組資料的座標軸上,對映時沒有利用任何資料內部的分類資訊。因此,雖然pca後的資料在表示上更加方便(降低了維數並能最大限度的保持原有資訊),但在分類上也許會變得更加困難;上圖右側是lda的降維思想,可以看到lda充分利用了資料的分類資訊,將兩組資料對映到了另外乙個座標軸上,使得資料更易區分了(在低維上就可以區分,減少了運算量)。

給我老師的人工智慧教程打call!

學習筆記一LDA降維與PCA的區別

1 pca無需樣本標籤,屬於無監督學習降維 lda需要樣本標籤,屬於有監督學習降維。二者均是尋找一定的特徵向量w來降維的,其中,lda抓住樣本的判別特徵,pca則側重描敘特徵。概括來說,pca選擇樣本點投影具有最大方差的方向,lda選擇分類效能最好的方向。2 pca降維是直接和特徵維度相關的,比如原...

兩種降維方法原理 PCA和LDA

1 pca 主成分分析 一句話 pca將方差最大的方向作為主成分,使用主成分來表示原始資料可以去除冗餘的維度,達到降維的目的。無監督降維技術,利用正交變換把由線性相關變數表示的觀測資料轉換為少數幾個由線性無關變數表示的資料,線性無關的變數稱為主成分。pca選擇的是投影後資料方差最大的方向。因此pca...

PCA降維的例子

import numpy as np import matplotlib.pyplot as plt 載入資料 data np.genfromtxt data.csv delimiter x data data 0 y data data 1 plt.scatter x data,y data pl...