神經網路中的基本概念

2021-10-09 18:01:25 字數 601 閱讀 2546

tensor(張量)的概念是 g.ricci 在19世紀末提出的. g.ricci 研究張量的目的是為幾何性質和物理規律的表達尋求一種在座標變換下不變的形式. 他所考慮的張量是如同向量的分量那樣的陣列, 要求它們在座標變換下服從某種線性變換的規律. 近代的理論已經把張量敘述成向量空間及其對偶空間上的多重線性函式, 但是用分量表示張量仍有它的重要性, 尤其是涉及張量的計算時更是如此.

(白話)在物理學中,用張量語言描述的物理定律保證了不隨參考係變化的這一性質;

在數學中,張量已經被抽象成了線性變換,如矩陣相似變換 w』 = gwg^-1.

張量的維度(秩):rank/order

rank為0、1、2時分別稱為標量(點)、向量(線)和矩陣(面,2d),rank為3時是3階張量(3d-array),rank大於3時是n階張量(n維-array)。這些標量、向量、矩陣和張量裡每乙個元素被稱為tensor element(張量的元素),且同乙個張量裡元素的型別是保持一樣的。

[cnn] 卷積、反卷積、池化、反池化

神經網路基本概念

mcculloch 精神病學家和解剖學家 和pitts 數學家 在1943年,發表第乙個系統的ann研究 閾值加權和 m p 數學模型。bp back propagation 神經網路,是指誤差的後向傳播,修正權值矩陣,達到訓練模型。1 弱點 訓練速度非常慢 區域性極小點的逃離問題 演算法不一定收斂...

卷積神經網路相關基本概念

輸入 rgb三個色值通道 900 600 的彩色用 900 600 3 陣列表示 卷積 基於卷積核 小矩陣 在每層畫素矩陣上按步長移動 左上到右下 掃到數與卷積核相對應位置數相乘再求和,全部掃完後得到乙個新矩陣。步長指卷積核每次移動幾個格仔,有橫向和縱向。卷積核裡面的每個值就是我們要尋找 訓練 的神...

神經網路學習筆記 01 基本概念

即使百萬級的神經單元,也只相當於乙隻蠕蟲的計算能力。for the output layer forward propagation 正向傳播 在訓練過程中,通過輸入資料產生輸出資料。back propagation 反向傳播 在訓練過程中,根據計算結果和期望結果的偏差,重新調整各個神經元的權值。這...