深度學習涉及到的線性代數知識點總結(二)

2021-10-10 17:54:51 字數 3070 閱讀 5956

如果對向量模長進行歸一化,歐式距離和余弦相似度有如下計算關係:

● 適用場景

余弦相似度計算的向量的夾角,它並不關心向量的絕對大小。

歐式距離體現的是數值上的絕對差異。

● 結論

做了標準化後,余弦相似度與歐式距離成正比(等價性)。

● 公式

相關性分為線性相關(正、負)和線性無關、

● 通俗理解

你可以把向量想成乙個乙個的人,這些人構成乙個小組(以下舉例a、b、c三人)。

線性相關:如果該組有乙個人(a)能完成的工作,其他成員(b+ 0c、0b+c、k1b+k2c…)也能完成,那麼該人就是「多餘」的,沒有他工作也能完成。

線性無關:該組每個人都是各個領域的大牛,沒有其他人能代替他們完成相應的工作,他們獨一無二的,少了乙個都不行。

在高等數學裡面,向量二維和三維相關,就是共線(座標對應成比例)和共面的問題。。

● 正交基

不相關的(正交)向量組成的空間。

兩個向量相乘為0稱這兩個向量正交,零向量與任何向量正交。

● 標準基

標準基表示一組長度為1的基

● 標準正交基

標準正交基表示一組長度為1且兩兩正交的基。

● 完備基

由兩兩不相關的正交基組成的方陣,它能夠表達乙個完整的空間。

在這個空間中的任何乙個點,都可以由這三個基(軸)來表示。

● 欠完備基

不能夠表達乙個完整空間的基的組合,比如非正交基的組合以及非方陣的組合,比如用兩個向量表示乙個三維空間,或者用四個向量表示乙個三維空間(必定存在兩個向量是相關的)

● 本質

給乙個向量乘以乙個變換矩陣(完備基),形成新的向量,這個新的向量就是被變換後的向量。乙個向量a和另乙個向量b的內積,相當於a在b上的投影(投影會降維),乘以矩陣就是多段投影。

● 方法

在當前空間座標系中改變目標向量(標量、矩陣)

目標向量(標量、矩陣)和當前棧空間座標系作為整體一起改變。

● 圖形

對乙個向量x的變換步驟:把x的特徵分解到乙個新的矩陣a的軸.上,然後再用分解到這個矩陣a的軸上的特徵乘以原來的軸,得到新的特徵,新的矩陣軸上的新的特徵交點就是變換後的向量ax.

仿射變換(affine transformation或 affine map)是一種二維座標到二維座標之間的線性變換,它保持了二維圖形的「平直性」(即:直線經過變換之後依然是直線)和「平行性」。

(即:二維圖形之間的相對位置關係保持不變,平行線依然是平行線,且直線上點的位置順序不變)。

含義:乙個矩陣a乘以乙個(特徵向量)向量x等於乙個標量(特徵值) λ乘以乙個(特徵向量)向量x。

● 推理公式:vax = vλx

等式左邊: 乙個向量v乘以乙個矩陣a,相當於對向量v做了一次線性變換,然後變換後的v向量再乘以乙個特徵向量x,就相當於變換後的v向量在x向量上的投影,是乙個標量。

等式右邊:乙個向量v乘以乙個標量(特徵值) λ,相當於對這個向量做乙個一次線性變換, 然後變換後的向量v再乘以乙個特徵向量λ,相等於變換後的v向量在x向量上的投影,也是乙個標量。

● 意義

使用標量λ來代替矩陣a,主要是為了方便觀察這個向量v在變換後在向量x上投影的變化方向。

特徵值λ就是向量v經過變換後投影到x上的值,特徵值λ越大,說明這個向量v在這個x軸上的變換越大,越重要。

● 目的

表示乙個向量變化之後在某個軸上的投影。

● 影象

● 推理

ax=λx, λx-ax=0,可得(λe-a) x=0

● 公式

● 條件

要求p是正交陣,否則需要通過求偽逆的方式實現。

● 意義

對乙個矩陣做相似變換

想把乙個矩陣a變成矩陣b,只需要找到乙個矩陣p,做乙個相似變換即可。

相似矩陣的本質就是兩組不同的基都代表了同乙個空間,這兩組基之間存在乙個轉換關係,就是矩陣p.

● 公式推導

因為p是正交陣,所以p^(-1)ap= b可以寫成p^tap=b。

● 變換公式

p^(-1)ap=b, pp^(-1)=e, ae=a, a=b

ap=pb,a=b, a和b就是相似矩陣p

用ap= pb對比特徵方程ax=λx,發現二者非常相似, 如

果把x和λ都換成矩陣p和b,特徵方程的公式就可以是

ap=bp

● vap = vpb

● 定義

相似矩陣p^(-1)ap=b中,當p不是方陣的時候,a矩陣

的特徵值被稱為奇異值。

● 公式

a=u∑v^t

● 推理

可見,特徵值只是相對於方陣而言的,而奇異值是相對於所有矩陣而言的,可以認為特徵值是一種特殊的奇異值。

因為在p^(-1)ap=b中,p不是方陣,所以公式被寫成了

a=u∑v^t。

● 意義

可以做推薦系統演算法

降維,取消不重要的奇異值

● 定義

最大的特徵值被稱為矩陣的譜範數

● 簡述

矩陣的特徵值被稱為譜

用譜範數做歸一化被稱為譜範數歸一化

● 應用

例如度量乙個矩陣的大小,判斷演算法是否收斂等。

線性代數知識點1

跡和特徵值有很重要的聯絡 tr a 1 2 ntr a 1 2 n 特徵值還和a的行列式有關係 a 1 2 n a可逆時,1 1 為a 1a 1的特徵值 矩陣a與其轉置矩陣atat有相同的特徵值 k k 是矩陣ka的特徵值 k是任意常數 tr a b tr a tr b tr a b tr a tr...

簡歷專案涉及到的知識點

今天列舉一下簡歷中專案涉及到的知識點,逐漸補全。一 基於內容的遙感影象檢索系統 1 hadoop框架,mapredce並行運算,hdfs檔案系統分布式儲存。1 如何讓每次map讀取一整幅?1 四叉樹分割 在灰度均勻分布的區域內,灰度的標準方差較小 而在灰度非均勻分布的區域內,灰度的標準方差較大。灰度...

地標檢索涉及到的知識點

地標檢索和識別 比賽介紹分析 地標檢索 方法a 檔案儲存情況 其他方案 涉及到的內容 地標檢索 利用多個backbone inception 網路和gem pooling triplet loss提取全域性網路特徵描述子 建立kdtree通過knn尋找近鄰,利用近鄰根據權重重新生成新的描述子,以進行...