第2章 神經網路的數學基礎 筆記

2021-09-27 13:53:18 字數 1577 閱讀 3197

張量是矩陣向任意維度的推廣[注意,張量的維度(dimension)通常叫做軸(axis)].

不要把 5d 向量和 5d 張量弄混! 5d 向量只有乙個軸,沿著軸有 5 個維度,而 5d 張量有 5 個軸(沿著每個軸可能有任意個維度)。

2.2.7 資料批量的概念

通常來說,深度學習中所有資料張量的第乙個軸(0 軸,因為索引從 0 開始)都是樣本軸(samples axis,有時也叫樣本維度)。在 mnist 的例子中,樣本就是數字影象。

此外,深度學習模型不會同時處理整個資料集,而是將資料拆分成小批量。具體來看,下面是 mnist 資料集的乙個批量,批量大小為 128。

batch = train_images[:128]

然後是下乙個批量。

batch = train_images[128:256]

然後是第 n 個批量。

batch = train_images[128 * n:128 * (n + 1)]

對於這種批量張量,第乙個軸(0 軸)叫作批量軸(batch axis)或批量維度(batch dimension)

在使用 keras 和其他深度學習庫時,你會經常遇到這個術語。

>>> x = np.array([[[5, 78, 2, 34, 0],

[6, 79, 3, 35, 1],

[7, 80, 4, 36, 2]],

[[5, 78, 2, 34, 0],

[6, 79, 3, 35, 1],

[7, 80, 4, 36, 2]],

[[5, 78, 2, 34, 0],

[6, 79, 3, 35, 1],

[7, 80, 4, 36, 2]]])

>>> x.ndim 

32.2.11 影象資料

影象通常具有三個維度:高度、寬度和顏色深度。雖然灰度影象(比如 mnist 數字影象)只有乙個顏色通道,因此可以儲存在 2d 張量中,但按照慣例,影象張量始終都是 3d 張量,灰度影象的彩色通道只有一維。因此,如果影象大小為 256×256,那麼 128 張灰度影象組成的批量可以儲存在乙個形狀為 (128, 256, 256, 1) 的張量中,而 128 張彩色影象組成的批量則可以儲存在乙個形狀為 (128, 256, 256, 3) 的張量中(見圖 2-4)。

影象張量的形狀有兩種約定:

通道在後(channels-last)的約定(在 tensorflow 中使用)和通道在前(channels-first)的約定(在 theano 中使用)。

google 的 tensorflow 機器學習框架將顏色深度軸放在最後:(samples, height, width, color_depth)。

與此相反,theano將影象深度軸放在批量軸之後:(samples, color_depth, height, width)。

如果採用 theano 約定,前面的兩個例子將變成 (128, 1, 256, 256) 和 (128, 3, 256, 256)。

keras 框架同時支援這兩種格式。

曲線 神經網路 神經網路的數學基礎 8(完結)

詳細內容請閱讀 deep learning with python 中文翻譯為 python深度學習 美 弗朗索瓦 肖萊 著 張亮 譯 1 隨機梯度下降 給定乙個可微函式,理論上可以用解析法找到它的最小值 函式的最小值是導數為0 的點,因此你只需找到所有導數為0 的點,然後計算函式在其中哪個點具有最...

第二章 神經網路的數學基礎

下面展示一些內聯 片。2.神經網路的資料表示 1.標量 0d張量 import numpy as np x np.array 12 print x print x.shape 張量的形狀 print x.ndim 張量的維度 軸,0階 2.向量 1d張量 x np.array 11,23,5,9,1...

神經網路數學基礎 卷積神經網路 部分實戰訓練

神經網路的數學基礎 1.矩陣線性變換 起到尺度和旋轉上的變化,w x與公升降維 放大縮小相關,b與平移相關 與彎曲相關 2.矩陣的秩 秩越低,資料分布越容易 捉,相關性大 奇異值 低秩近似 保留決定資料分布最主要的模式 方向 3.概率 概率分布 似然函式 對數似然函式 最大對數似然 4.策略設計 機...