深度學習核心的資料結構是標量、向量、矩陣和張量。
「張量」專屬於深度學習tensorflow框架的名詞，這篇先簡單彙總線性代數範圍內的三種結構及其運算規則：標量、向量、矩陣。以及深度學習領域常用的乙個概念：範數
1. 標量
只有數值大小，沒有方向的量。
2. 向量及其運算（常使用的python擴充套件程式庫numpy來操作）
具有大小和方向的量。表示分別用不同向量的座標做運算後所得座標組合。
2.1 向量和標量的計算：直角座標系中向量的數乘，就是向量座標的分量分別乘該數。
2.2 向量之間的加減操作：直角座標系中向量的加減就是對應座標分量的加減。如下展示：加法運算
2.3 向量之間的乘法操作：主要分為點乘（內積）、叉乘（外積）和對應項相乘。
3. 矩陣及其運算
按照長方陣列排列的複數或實數集合。
3.1 矩陣的加減法：相同"形狀"的矩陣對應元素做加減法，同型矩陣才可以做加減法。
3.2 矩陣的乘運算：結果矩陣的第 i 行第 j 列元素為第乙個矩陣的第 i 行元素分別乘第二 個矩陣的第 j 列元素再做加和。
4. 範數
範數是一種距離的表示，或者說向量的長度。常見的範數有 l0 範數、l1 範數和 l2 範數。
4.1 l0 範數
l0 範數指這個向量中非 0 元素的個數。我們可以通過 l0 範數減少非 0 元素的個數，從而減少參與決策的特徵，減少引數。
4.2 l1 範數
l1 範數指的是向量中所有元素的絕對值之和，它是一種距離的表示（曼哈頓距離），也被稱為稀疏規則運算元。
4.3 l2 範數
l2 範數是向量中所有元素的平方和的平方根，很常用的一類範數，其實也代表一種距離，即歐式距離。
各類範數的作用：
在設計模型的過程中，我們有時會使用到大量的特徵，每個特徵都會從不同的角度體現問題的不同資訊。這些特徵經過某些方式的組合、變換、對映之後，會按照不同的權重得到最終的結果。但有時候，有一部分特徵對於最後結果的貢獻非常小，甚至近乎零。這些用處不大的特徵，我們希望能夠將其捨棄，以更方便模型做出決策。這就是權值稀疏的意義。l0 範數和 l1 範數都能實現權值稀疏。但 l1 範數是 l0 範數的最優凸近似，它比 l0 範數有著更好的優化求解的特性，所以被更廣泛地使用。
如果我們要避免模型過擬合，就要使 l2 最小，這意味著向量中的每乙個元素的平方都要盡量小，且接近於 0。l1 會趨向於產生少量的特徵，而其他的特徵都是 0，用於特徵選擇和稀疏；l2 會選擇更多的特徵，但這些特徵都會接近於 0，用於減少過擬合。
線性代數的學習
最近在學習鞏固視覺slam的時候，突然發現對線性代數中有一些知識點有盲點，於是重新看了一下湯神的線性代數講解 有考研的同學極力推薦湯神的課程，有湯神保駕護航，數學不會低於120！整理了一下 a 0 時，則存在唯一解 1 a 使得 x b 1 a a 0 時，當 b 0 則表示無解，當 b 0 時，則...
深度學習數學基礎之線性代數
深度學習中的基本資料結構，基本上都是用向量或矩陣表示的，因此 深度學習的基礎學科之一 就是線性代數。深度學習中的線性代數知識主要包括以下部分 1 標量 向量 矩陣和張量 這4個變數很好理解 分別表示 乙個數 一維空間 一條線 二維 乙個平面 多於二維 立體或超立體等 2 矩陣的乘法和內積 這個在深度...
深度學習日記（二） 線性代數二
七 特徵分解 將矩陣分解為一組特徵向量和特徵值 從幾何上理解特徵值和特徵向量 特徵值 運動的速度 特徵向量 運動的方向 向量v在矩陣a的作用下，保持方向不變，進行比例為 lanmeta 的伸縮 特徵向量 eigenvector v 矩陣 a 特徵值 標量 滿足 特徵分解 以上鏈結為特徵分解的人話講解...