從幾何 的角度上來看奇異值分解：
上圖表明任意的矩陣 a 是可以分解成三個矩陣相乘的形式。v表示了原始域的標準正交基，u表示經過a 變換後的co-domain的標準正交基，σ表示了v 中的向量與u中相對應向量之間的關係。我們仔細觀察上圖發現，線性變換a可以分解為旋轉、縮放、旋轉這三種基本線性變換。
接下來我們從分解的角度重新理解前面的表示式，我們把原來的矩陣a表達成了n個矩陣的和：
若假定是按降序排列的，它在某種程度上反映了對應項mi在a中的「貢獻」。「貢獻」越大，說明對應的mi在a的分解中佔據的比重也越大。所以乙個很自然的想法是，我們是不是可以提取出mi中那些對a貢獻最大的項，把它們的和作為對a的近似？ 答案是肯定的，在多元統計分析中經典的主成分分析就是這樣做的。在主成分分析中，我們把資料整體的變異分解成若干個主成分之和，然後保留方差最大的若干個主成分，而捨棄那些方差較小的。事實上，主成分分析就是對資料的協方差矩陣進行了類似的分解（特徵值分解），但這種分解只適用於對稱的矩陣，而 svd 則是對任意大小和形狀的矩陣都成立。
奇異值包含了矩陣的「本質資訊」，而具體什麼是乙個矩陣的「本質資訊」呢？這是個很抽象的概念，在不同的應用領域自然有不同的解釋，而本文將從矩陣本身的角度盡量直觀地解釋。本文認為奇異值分解的結果，解釋了矩陣的「奇異程度」。
我們知道非滿秩的矩陣就是奇異矩陣，但是有沒有量化的標準衡量哪個矩陣更不滿秩，或者更奇異呢？比如同樣兩個滿秩矩陣，能否看出哪個更「滿」，或者兩個非滿秩且同為秩r的矩陣，哪個更「奇異」呢？也許你回答不上來，但你心裡隱隱約約覺得似乎是有的。讓我們來看看下面這兩個n=3，r=2的奇異陣：
雖說都是秩2矩陣，但a顯得更奇異，因為它似乎離秩1矩陣更接近。如果a33不是7，而是6.9, 6.5, 6.1, 6.001呢？如果很接近6但不是6的話，理論上a依舊是個秩2矩陣，但也許計算機會告訴你這是乙個秩1矩陣了。我們不討論計算機的精度問題，接著看這兩個矩陣。我們對其進行svd，得到的兩個奇異值矩陣：
這是符合我們的認知的，正如在pca或者影象壓縮方面的例子應用一樣，σ的「頭部」集中了更多的「質量」，忽略遠離「頭部」的奇異值對恢復矩陣的影響越小，這意味著：乙個矩陣越「奇異」，其越少的奇異值蘊含了更多的矩陣資訊，矩陣的資訊熵越小（這也符合我們的認知，矩陣越「奇異」，其行（或列）向量彼此越線性相關，越能彼此互相解釋，矩陣所攜帶的資訊自然也越少）。這些奇異值就是開頭我們所談論的「本質資訊」，而從矩陣σ中也能得到矩陣的「奇異程度」。
奇異值分解
奇異值分解 singular value decomposition 是線性代數中一種重要的 矩陣分解，是矩陣分析中正規矩陣酉對角化的推廣。在訊號處理 統計學等領域有重要應用。1基本介紹 2理論描述 3幾何意義 4範數 5應用 求偽逆 平行奇異值模型 矩陣近似值 奇異值分解在某些方面與 對稱矩陣或 ...
奇異值分解
本文 知乎 我們先舉乙個例子，假設現在我們拿到這樣一組資料，裡面有兩個屬性，既有以 千公尺 每小時 度量的最大速度特徵，也有 英里 小時 的最大速度特徵，顯然我們一眼就看出這兩個特徵有乙個多餘。怎麼直觀的判斷資料是否冗餘?上圖從左往右，我們可以發現資料之間的關聯性越來越強，也就是說兩組資料越來越 相...
奇異值和奇異值分解
理論 假設m是乙個m n階矩陣，其中的元素全部屬於域 k，也就是 實數域或複數域。如此則存在乙個分解使得 m u v 其中u是m m階酉矩陣 是半正定m n階對角矩陣 而v 即v的共軛轉置，是n n階酉矩陣。這樣的分解就稱作m的奇異值分解。對角線上的元素 i,i即為m的奇異值。直觀的解釋 在矩陣m的...