學習筆記DL006 特徵分解,奇異值分解

2021-09-24 12:09:43 字數 1623 閱讀 3250

2019獨角獸企業重金招聘python工程師標準》

特徵分解。

整數分解質因素。

特徵分解(eigendecomposition),使用最廣,矩陣分解一組特徵向量、特徵值。方陣?的特徵向量(eigenvector),與?相乘相當對該向量縮放非零向量?,??=λ?。標量λ為特徵向量對應特徵值(eigenvalue)。左特徵向量(left eigenvector) ?ᵀ?=λ?ᵀ,右特徵向量(right eigenvector)。?是?的特徵向量,任何縮放向量??(?∈ℝ,?≠0)也是?的特徵向量。??和?有相同特徵值。只考慮單位特徵向量。

矩陣?有?個線性無關特徵向量,對應特徵值。特徵向量連線成乙個矩陣,每一列是乙個特徵向量,v=[?⁽¹⁾,…,?⁽ⁿ⁾]。特徵值連線成乙個向量?=[λ₁,…,λn]ᵀ。?的特徵分解(eigendecomposition),記?=vdiag(?)v⁻¹。

構建具有特定特徵值和特徵向量矩陣,在目標方向上延伸空間。矩陣分解(decompose)成物徵值和特徵向量,分析矩陣特定性質。

每個實對稱矩陣都可以分解成實特徵向量和實特徵值,?=q?qᵀ。q是?的特徵向量組成正交矩陣,?是對角矩陣。特徵值?i,i對應特徵向量是矩陣q的第i列,記q:,i。q是正交矩陣,?看作沿方向?⁽i⁾延展λi倍空間。兩多或多個特徵向量擁有相同特徵值,特徵向量產生生成子空間,任意一組正交賂量都是該特徵值對應特徵向量。可等價地從特徵向量構成q替代。按降序排列?元素。特徵分解唯一當且僅當所有特徵值唯一。矩陣是奇異的當且僅當含有零特徵值。實對稱矩陣分解可用於優化二次方程f(x)=xᵀ?x,限制||x||₂=1。x等於?某個特徵向量,?返回對應特徵值。限制條件下,函式?最大值是最大特徵值,最小值是最小特徵值。

所有特徵值是正數的矩陣為正定(positive definite)。所有特徵值是非負數矩陣為半正定(positive semidefinite)。所有特徵值是負數矩陣為負定(negative definite)。所有特徵值是非正數矩陣為半負定(negative semidefinite)。半正定矩陣,保證∀x,xᵀ?x>=0。正定矩陣保證xᵀ?x=0 => x=0。

矩陣?有兩個標準正交特徵向量,對應特徵值λ₁的?⁽¹⁾對應特徵值為λ₂的?⁽²⁾。所有單位向量u∈ℝ²集合,構成乙個單位圓。所有?u點集合。?拉伸單位圓方式,將?⁽i⁾方向空間拉伸λi倍。

奇異值分解(singular value decomposition,svd)。

矩陣分解為奇異向量(singular vector)、奇異值(singular value)。奇異值分散應用更廣泛。每個實數矩陣都有乙個奇異值分解。非方陣矩陣沒有特徵分解。奇異值分解,矩陣?分解成三個矩陣乘積。?=???ᵀ。?是mn矩陣,?是mm矩陣,?是mn矩陣,?是nn矩陣。矩陣經定義後有特殊結構。矩陣?和?正交矩陣。?對角矩陣,不一定是方陣。

對角矩陣d對角線上元素為矩陣?的奇異值(singular value)。矩陣?的列向量為左奇異向量(left singular vector),矩陣?的列向量為右奇異向量(right singular vector)。

可以用與?相關特徵分解解釋?的奇異值分解。?的左奇異向量(left singular vector)是??ᵀ的特徵向量。?的右奇異向量(right singular vector)是?ᵀ?的特徵向量。?的非零奇異值是?ᵀ?特徵值的平方根,也是??ᵀ特徵值的平方根。

svd最有用性質,拓展矩陣求逆到非方矩陣。

機器學習基礎 特徵分解,奇異值分解

對於乙個方陣 行數和列數相等的矩陣 a aa,特徵向量就是指與a aa相乘的乙個非零向量 nu 等於這個非零向量的縮放,即a a nu lambda nu a 其中,lambda 稱為特徵值,nu a i 0 a lambda i nu 0 a i 01 定義 將矩陣分解成一組特徵向量和特徵值。2 ...

DL學習筆記 1 執行CAFFE程式

按照大神的 中的教程安裝就好啦 然後我這裡簡要寫一點點自己安裝過程中的問題和簡要的安裝過程 1 安裝vs2012 2 安裝cuda6.5 3 按照教程配置各種變數等 其中系統目錄是指環境變數 系統變數 path 然後成功安裝之後就是閃退啦,用命令列執行會出現這幾條語句 如果不需要編譯 就是根據c 程...

DL學習筆記 打卡02 Task03 05

task03 過擬合 欠擬合及其解決方案 梯度消失 梯度 迴圈神經網路高階 task04 機器翻譯及相關技術 注意力機制與seq2seq模型 transformer task05 卷積神經網路基礎 lenet 卷積神經網路高階 在實踐中,我們要盡可能同時應對欠擬合和過擬合。雖然有很多因素可能導致這兩...