Deeplearning中mask的作用

2021-10-05 01:22:11 字數 683 閱讀 5575

搬運自:
我認為,在實踐中,我們需要mask的最重要的原因之一是,我們要batchize多個句子作為乙個輸入,即輸入了一批句子的模型做乙個向前計算。

像這樣的成像案例:兩個句子:

i like cats.

he does not like cats.

然後我們通過詞彙表中的索引將每個單詞轉換為int:

1i 2he 3like 4does 5not 6cats…。
1 3 6 0

2 4 5 3 6 0

如果要將這兩個句子作為乙個批處理連線到網路(在pytorch,tensorflow中使用其他方法),則需要將它們作為張量或矩陣。

但是它們的長度不同。所以你給它們填充一些隨機整數:

1 3 6 0 9 9

2 4 5 3 6 0

現在它變成了2x6矩陣。

然後您可以將此矩陣提供給網路。但是這些填充物是沒有意義的,甚至是有害的。因此,您需要提供有關蒙版填充的模型資訊

1 1 1 1 0 0

1 1 1 1 1 1

因此,在計算時,模型可以使用mask過濾掉填充(第一句末尾為9 9)。

詳述Deep Learning中的各種卷積(四)

首次在大規模影象資料集 imagenet 實現了深層卷積神經網路結構,引發深度學習熱潮的alexnet 在 2012 年引入了分組卷積。實現分組卷積的主要原因是讓網路訓練可在 2 個記憶體有限 每個 gpu 有 1.5 gb 記憶體 的 gpu 上進行。下面的 alexnet 表明在大多數層中都有兩...

javascript實現java中的map

map.js function map linkitems 獲取當前map return 當前物件 map.noop function 非法操作 return map.illegal function param obj param foreignkeys return map.from funct...

深度學習Deep Learning

概述 deep feedforward network 深度前饋網路 又名feedforward neural network 前饋神經網路 或 multilayer perceptron 多層感知器 是深度學習模型的精髓 前饋網路的目的是逼近某種方程f 比如乙個分類器,y f x 將輸入x對映到類...