《深度學習》 線代基礎

2021-09-27 06:18:34 字數 1616 閱讀 4999

前言:花了乙個多月參加乙個比賽,真的是心力交瘁,累!剛開始接觸到深度學習的時候就知道花書了,看過一眼,但當時初見難免對這本演算法有些畏懼,如今幾個月過去了,對部分的演算法也有些許的了解,抽出閒暇時間,休閒讀。主要是大牛寫的書,希望讀的時候能有乙個思維的跳躍。我將懷著一顆敬畏之心閱讀每一本書。

公式引入:

a x=

∑ixi

a:,i

ax = \sum_ix_ia_

ax=i∑​

xi​a

:,i​

可以將a

aa的列向量看作從原點出發的不同放向,確定有多少種方法可以到達向量b,在這個觀點下,向量x中的每乙個元素表示應該沿這些方向走多遠。

這個公式的速寫形式與矩陣的乘法不一致,但是合理。這種每個向量乘以對應標量係數之後的和的操作叫做線性組合,即。

∑ ic

iv(i

)\sum_ic_iv^

i∑​ci​

v(i)

一組向量的生成子空間是原始向量線性組合後所能抵達的點的集合。

將矩陣分解成為奇異向量和奇異值,其應用更加的廣泛。

a =u

dv

ta = udv^t

a=udvt

對於非方陣而言其逆矩陣沒有定義,我們希望通過a的左逆b來求解線性方程。

a x=

yax = y

ax=y

等式兩邊左乘左逆b後,我們得到:

x =b

yx = by

x=by

當row_x = column_x 時,方程可能有乙個解,當a的行數大於列數的時候方程可能是沒有解的(約束項比要求的未知數的值要多),當行數下於列數,未知數的數量大於約束項的數量。

a +=

limα

−>0(

ata+

αi)−

1a

ta^+ = lim_(a^ta+\alpha i)^a^t

a+=lim

α−>0​

(ata

+αi)

−1at

,當不知道a矩陣的行數列數時,逆矩陣是這麼定義的。

計算偽逆的實際演算法沒有基於這個定義,(一般我們不會用定義來求解問題,當證明時候才會用到):

a +=

vd+u

ta^+ = vd^+u^t

a+=vd+

ut矩陣u,d和v是矩陣a奇異值分解後得到的矩陣。對角矩陣d的違逆d

+d^+

d+是其非零元素取導數之後再轉置得到的。

當矩陣a的列數多於行數時,使用偽逆求解線性方程是眾多可能解中歐幾里得範數∣∣x

∣∣

2||x||_2

∣∣x∣∣2

​最下的乙個。

當矩陣a的行數多於列數時,可能沒有解,在這種情況下,通過違逆得到的x使得ax和y的歐幾里得距離∣∣a

x−y∣

∣||ax-y||

∣∣ax−y

∣∣最下。行列式記作det(a),是乙個將方陣a對映到實數的函式。行列式等於矩陣特徵值的乘積。==行列式的絕對值可以用來衡量矩陣引數與矩陣乘法後空間擴大或者縮小了多少。==如果行列式是1,那麼這個轉換保持空間體積。

線代學習筆記二

1 含有n個未知數的線性方程組ax b 1 無解 則 r a 2 向量組a a a a b beta beta beta 1 若b中每個向量都可以由a線性表示,則稱b能由a線性表示。若可以互相線性表示,則稱ab等價。2 b能由a線性表示的充要條件是矩陣 a a a a 的秩等於矩陣 a,b a a ...

飛花的線代

time limit 1000ms memory limit 65536k 有疑問?點這裡 飛花壕的線代一直非常的壕 好 線代考試每次都是全班第一。一次,飛花壕在預習線代的過程中看到了乙個新的問題,矩陣!他研究了三年,終於研究明白了,他來向你炫耀他所研究出來的成果,他給了你兩個矩陣,問你兩個矩陣的和...

線代個人總結

齊次線性方程組一定有解 非齊次線性方程組三種情況 anxn 1.r a r ab n唯一解 n為max,畢竟係數矩陣是方陣是方程組有唯一解的必要條件 2.r a r ab 3.r a 線性相關與線性無關與矩陣的解 有向量組a a1,a2,am,如果存在不全為零的數 k1,k2,km 使 k1a1 k...