機器學習的embedding

2021-07-10 20:00:40 字數 402 閱讀 5267

embedding在數學上表示乙個maping, f: x -> y, 也就是乙個function,其中該函式是injective(就是我們所說的單射函式,每個y只有唯一的x對應,反之亦然)和structure-preserving (結構儲存,比如在x所屬的空間上x1 < x2,那麼對映後在y所屬空間上同理 y1 < y2)。那麼對於word embedding,就是將單詞word對映到另外乙個空間,其中這個對映具有injective和structure-preserving的特點。

通俗的翻譯可以認為是單詞嵌入,就是把x所屬空間的單詞對映為到y空間的多維向量,那麼該多維向量相當於嵌入到y所屬空間中,乙個蘿蔔乙個坑。

word embedding,就是找到乙個對映或者函式,生成在乙個新的空間上的表達,該表達就是word representation。

深度學習中Embedding的理解

embedding就是把高維的one hot進行降維的過程。1 一維列表也不行,二維稀疏矩陣也不行,怎麼辦呢?這裡就引入了embedding的概念,由密集向量表示,實現降維!2 並不是每個單詞都會被乙個向量來代替,而是被替換為用於查詢嵌入矩陣中向量的索引 3 同時訓練神經網路時,每個embeddin...

深度學習中Embedding層

keras.layers.embeddings.embedding input dim,output dim,embeddings initializer uniform embeddings regularizer none,activity regularizer none,embeddings...

embedding的個人理解

網路表徵學習中的embeddings embed英文谷歌解釋1 fix an object firmly and deeply in a surrounding mass 英文 2 attach a journalist to a military unit during a conflict.1是...