人工智慧數學基礎 線性代數

2022-08-22 07:30:13 字數 3004 閱讀 5418

必備的數學知識是理解人工智慧不可或缺的要素,所有的人工智慧技術歸根到底都建立在數學模型之上,而這些數學模型又都離不開線性代數(linear algebra)的理論框架。

線性代數不僅僅是人工智慧的基礎,更是現代數學和以現代數學作為主要分析方法的眾多學科的基礎。從量子力學到影象處理都離不開向量和矩陣的使用。而在向量和矩陣背後,線性代數的核心意義在於提供了⼀種看待世界的抽象視角:萬事萬物都可以被抽象成某些特徵的組合,並在由預置規則定義的框架之下以靜態和動態的方式加以觀察

線性代數中最基本的概念是集合(set)。在數學上,集合的定義是由某些特定物件彙總而成的集體。集合中的元素通常會具有某些共性,因而可以用這些共性來表示。對於集合 來說, 所有元素的共性是它們都是水果;對於集合 來說,所有元素的共性是它們都是動物。當然 也可以構成乙個集合,但這兩個元素並沒有明顯的共性,這樣的集合在解決實際問題中的作用也就相當有限。

「    香蕉」或是「羊」這樣的具體概念顯然超出了數學的處理範圍,因而集合的元素需要進行進一步的抽象,用數字或符號來表示。如此一來,集合的元素既可以是單個的數字或符號,也可以是多個數字或符號以某種方式排列形成的組合。aa

按一定順序組成乙個序列,這樣的元素就被稱為向量(vector)。顯然,向量可以看作標量的擴充套件。原始的乙個數被替代為一組數,從而帶來了維度的增加,給定表示索引的下標才能唯一地確定向量中的元素。

每個向量都由若干標量構成,如果將向量的所有標量都替換成相同規格的向量,得到的就是如下的矩陣(matrix): ⎡⎣

⎢a11a

21a31a

12a22a

32a13a

23a33⎤

⎦⎥[a11a12a13a21a22a23a31a32a33]

相對於向量,矩陣同樣代表了維度的增加,矩陣中的每個元素需要使用兩個索引確定。同理,如果將矩陣中的每個標量元素再替換為向量的話,得到的就是張量(tensor)。直觀地理解,張量就是高階的矩陣。

如果把三階魔方的每乙個小方塊看作乙個數,它就是個3×

3×33×3×3

的矩陣則恰是這個魔方的乙個面,也就是張量的乙個切片。相比於向量和矩陣,張量是更加複雜,直觀性也更差的概念。

向量和矩陣不只是理論上的分析工具,也是計算機工作的基礎條件。人類能夠感知連續變化的世界,可計算機只能處理離散取值的二進位制資訊,因而來自模擬世界的訊號必須在定義域和值域上同時進行數位化,才能被計算機儲存和處理。從這個角度看,線性代數是用虛擬數字世界表示真實物理世界的工具

描述作為數學物件的向量需要有特定的數學語言,範數和內積就是代表。範數(norm)是對單個向量大小的度量,描述的是向量自身的性質,其作用是將向量對映為乙個非負的數值。通用的 lp

lp對⼀個給定向量,l1

l1 範數計算的則是向量中最大元素的取值。

範數計算的是單個向量的尺度,內積(inner product)計算的則是兩個向量之間的關係。兩個相同維數向量內積的表示式為: ⟨x

,y⟩=

∑ixi

.yi⟨x,y⟩=∑ixi.yi

即對應元素乘積的求和。內積能夠表示兩個向量之間的相對位置,即向量之間的夾角。一種特殊的情況是內積為 0,即 ⟨x

,y⟩=

0⟨x,y⟩=0

。在二維空間上,這意味著兩個向量的夾角為 90 度,即相互垂直。而在高維空間上,這種關係被稱為正交(orthogonality)。如果兩個向量正交,說明他們線性無關,相互獨立,互不影響。

在實際問題中,向量的意義不僅是某些數字的組合,更可能是某些物件或某些行為的特徵。範數和內積能夠處理這些表示特徵的數學模型,進而提取出原始物件或原始行為中的隱含關係。

人工神經網路要處理的通常是數以萬計的特徵,對應著維度同樣數以萬計的複雜空間,這時就需要正交基的概念了。

在內積空間中,一組兩兩正交的向量構成這個空間的正交基(orthogonal basis),假若正交基中基向量的 l2 範數都是單位長度 1,這組正交基就是標準正交基(orthonormal basis)。正交基的作用就是給內積空間定義出經緯度。⼀旦描述內積空間的正交基確定了,向量和點之間的對應關係也就隨之確定。

需要注意的是,描述內積空間的正交基並不唯一。對二維空間來說,平面直角座標系和極座標系就對應了兩組不同的正交基,也代表了兩種實用的描述方式。

線性空間的乙個重要特徵是能夠承載變化。當作為參考係的標準正交基確定後,空間中的點就可以用向量表示。當這個點從乙個位置移動到另乙個位置時,描述它的向量也會發生改變。點的變化對應著向量的線性變換(linear transformation),而描述物件變化抑或向量變換的數學語言,正是矩陣。

在這種情況下,矩陣的作用就是對正交基進行變換。因此,對於矩陣和向量的相乘,就存在不同意義: ax

=yax=y

這個表示式既可以理解為向量 x 經過矩陣 a 所描述的變換,變成了向量 yy

(單位矩陣:主對角線元素為 1,其餘元素為 0)的度量下得到的結果為向量 y。

這表示矩陣不僅能夠描述變化,也可以描述參考係本身。表示式 ax

ax。如果想用其他的參考係做度量的話,就要重新宣告。而對座標系施加變換的方法,就是讓表示原始座標系的矩陣與表示變換的矩陣相乘。

描述矩陣的⼀對重要引數是特徵值(eigenvalue)和特徵向量(eigenvector)。對於給定的矩陣aa

矩陣代表了向量的變換,其效果通常是對原始向量同時施加方向變化和尺度變化。可對於有些特殊的向量,矩陣的作用只有尺度變化而沒有方向變化,也就是只有伸縮的效果而沒有旋轉的效果。對於給定的矩陣來說,這類特殊的向量就是矩陣的特徵向量,特徵向量的尺度變化係數就是特徵值。

矩陣特徵值和特徵向量的動態意義在於表示了變化的速度和方向。

求解給定矩陣的特徵值和特徵向量的過程叫做特徵值分解,但能夠進行特徵值分解的矩陣必須是 n 維方陣。將特徵值分解演算法推廣到所有矩陣之上,就是更加通用的奇異值分解

人工智慧數學基礎 線性代數

必備的數學知識是理解人工智慧不可或缺的要素,所有的人工智慧技術歸根到底都建立在數學模型之上,而這些數學模型又都離不開線性代數 linear algebra 的理論框架。線性代數不僅僅是人工智慧的基礎,更是現代數學和以現代數學作為主要分析方法的眾多學科的基礎。從量子力學到影象處理都離不開向量和矩陣的使...

人工智慧入門 01線性代數

必懂線性代數概念 集合 由某些特定物件彙總而成的集體。標量 由單獨的數a構成的元素被稱為標量 scalar 向量 如果多個標量按照一定順序組成乙個序列,這樣的元素就被稱為向量 vector 矩陣 每個向量都由若干個標量構成,如果將向量的所有標量都替換成相同規格的向量,得到的就是矩陣。張量 如果將矩陣...

數學基礎 線性代數

1 矩陣正定性的判斷,hessian 矩陣正定性在梯度下降中的應用 若矩陣所有特徵值均不小於0,則判定為半正定,若矩陣所有特徵值均大於0,則判定為正定,在判斷優化演算法的可行性時hessian 矩陣的正定性起了很大的作用,若hessian 正定,則函式的二階偏導恆大於0,函式的變化率處於遞增狀態,在...