機器學習 奇異值分解

2021-09-25 23:15:23 字數 658 閱讀 5841

奇異值分解是一種矩陣因子分解方法,是線性代數概念,但在統計學習中被廣泛使用,成為其重要工具

主要應用 在主成分分析、潛在語義分析上

奇異值分解的矩陣不需要是方陣,任意矩陣都可以進行分解,都可以表示為三個矩陣的乘積(因子分解)形式,分別是m階正交矩陣、由降序排列的非負對角線元素組成的m×n矩形對角矩陣和n階正交矩陣,稱為該矩陣的奇異值分解。

矩陣的奇異值分解一定存在,但不唯一。奇異值分解可以看做矩陣資料壓縮的一種方法。

奇異值分解可以表示為3個實矩陣乘積的運算,

a=uσvt

其中u是m階正交矩陣,v是n階正交矩陣,σ是由降序排列的非負的對角元素組成的m×n矩形對角矩陣,滿足:

uut=i

vvt=i

這兩條是正交矩陣的性質

σ=diag(σ1,σ2,σ3……σp)

σ1≥σ2≥σ3≥……≥σp≥0

p=min(m,n)

這樣就滿足了σ是降序排序並且非負

uσvt 稱為矩陣a的奇異值分解,σi 稱為矩陣a的奇異值,u的列向量稱為左奇異向量,v的列向量稱為右奇異向量。

注意奇異值分解不要求矩陣a是方陣,這與特徵值分解不同,這個任意矩陣就行

SVD奇異值分解 機器學習

簡介 奇異值分解 singular value decomposition 是線性代數中一種重要的矩陣分解,是在機器學習領域廣泛應用的演算法,它不光可以用於降維演算法中的特徵分解,還可以用於推薦系統,以及自然語言處理等領域。是很多機器學習演算法的基石。奇異值分解在資料降維中有較多的應用,這裡把它的原...

機器學習基礎 特徵分解,奇異值分解

對於乙個方陣 行數和列數相等的矩陣 a aa,特徵向量就是指與a aa相乘的乙個非零向量 nu 等於這個非零向量的縮放,即a a nu lambda nu a 其中,lambda 稱為特徵值,nu a i 0 a lambda i nu 0 a i 01 定義 將矩陣分解成一組特徵向量和特徵值。2 ...

奇異值分解

奇異值分解 singular value decomposition 是線性代數中一種重要的 矩陣分解,是矩陣分析中正規矩陣酉對角化的推廣。在訊號處理 統計學等領域有重要應用。1基本介紹 2理論描述 3幾何意義 4範數 5應用 求偽逆 平行奇異值模型 矩陣近似值 奇異值分解在某些方面與 對稱矩陣或 ...