word2vec是如何得到詞向量的?

2021-09-02 01:13:08 字數 2565 閱讀 9149

word2vec是如何得到詞向量的?這個問題比較大。從頭開始講的話,首先有了文字語料庫,你需要對語料庫進行預處理,這個處理流程與你的語料庫種類以及個人目的有關,比如,如果是英文語料庫你可能需要大小寫轉換檢查拼寫錯誤等操作,如果是中文日語語料庫你需要增加分詞處理。這個過程其他的答案已經梳理過了不再贅述。得到你想要的processed corpus之後,將他們的one-hot向量作為word2vec的輸入,通過word2vec訓練低維詞向量(word embedding)就ok了。不得不說word2vec是個很棒的工具,目前有兩種訓練模型(cbow和skip-gram),兩種加速演算法(negative sample與hierarchical softmax)。本答旨在闡述word2vec如何將corpus的one-hot向量(模型的輸入)轉換成低維詞向量(模型的中間產物,更具體來說是輸入權重矩陣),真真切切感受到向量的變化,不涉及加速演算法。如果讀者有要求有空再補上。

剛才也提到了,word2vec包含了兩種詞訓練模型:cbow模型和skip-gram模型。

cbow模型根據中心詞w(t)周圍的詞來**中心詞

skip-gram模型則根據中心詞w(t)來**周圍詞

拋開兩個模型的優缺點不說,它們的結構僅僅是輸入層和輸出層不同。請看:

cbow模型

skip-gram模型

這兩張結構圖其實是被簡化了的,讀者只需要對兩個模型的區別有個大致的判斷和認知就ok了。接下來我們具體分析一下cbow模型的構造,以及詞向量是如何產生的。理解了cbow模型,skip-gram模型也就不在話下啦。

其實數學基礎及英文好的同學可以參照史丹福大學deep learning for nlp課堂筆記。

當然,懶省事兒的童鞋們就跟隨我的腳步慢慢來吧。

先來看著這個結構圖,用自然語言描述一下cbow模型的流程:

cbow模型結構圖

note:花括號內{}為解釋內容.

輸入層:上下文單詞的onehot.

所有onehot分別乘以共享的輸入權重矩陣w.

所得的向量 相加求平均作為隱層向量, size為1*n.(one-hot:1*v, w:v*n, hidden: one-hot*w=1*n)

乘以輸出權重矩陣w' (hidden*w'(1*n*n*v=1*v):1*v)

得到向量 啟用函式處理得到v-dim概率分布 ,概率最大的index所指示的單詞為**出的中間詞(target word)

與true label的onehot做比較,誤差越小越好

所以,需要定義loss function(一般為交叉熵代價函式),採用梯度下降演算法更新w和w'。訓練完畢後,輸入層的每個單詞與矩陣w相乘得到的向量的就是我們想要的詞向量(word embedding),這個矩陣(所有單詞的word embedding)也叫做look up table(其實聰明的你已經看出來了,其實這個look up table就是矩陣w自身),也就是說,任何乙個單詞的onehot乘以這個矩陣都將得到自己的詞向量。有了look up table就可以免去訓練過程直接查表得到單詞的詞向量了。
這回就能解釋題主的疑問了!如果還是覺得我木有說明白,別著急!跟我來隨著栗子走一趟cbow模型的流程!

假設我們現在的corpus是這乙個簡單的只有四個單詞的document:

我們選coffee作為中心詞,window size設為2

也就是說,我們要根據單詞"i","drink"和"everyday"來**乙個單詞,並且我們希望這個單詞是coffee。

假設我們此時得到的概率分布已經達到了設定的迭代次數,那麼現在我們訓練出來的look up table應該為矩陣w。即,任何乙個單詞的one-hot表示乘以這個矩陣都將得到自己的word embedding。

如有疑問歡迎提問。

github專案:

機器不學習 word2vec是如何得到詞向量的?

機器不學習 jqbxx.com 機器學習 深度學習好 word2vec是如何得到詞向量的?這個問題比較大。從頭開始講的話,首先有了文字語料庫,你需要對語料庫進行預處理,這個處理流程與你的語料庫種類以及個人目的有關,比如,如果是英文語料庫你可能需要大小寫轉換檢查拼寫錯誤等操作,如果是中文日語語料庫你需...

與word2vec 原來word2vec那麼簡單

說到word2vec,它可謂非結構化資料裡面的佼佼者,尤其是在推薦和nlp當中,足以體現它的優勢所在,並且多年一直備受工業界喜愛.那麼word2vec到底是怎麼個原理的,發現身邊總是有很多人問,確不能準確的說出為什麼是兩個矩陣,到底是怎麼自動反向傳播的,以及對於softmax之後那麼大的維度資料,是...

如何用word2vec 訓練詞嵌入模型

如何用word2vec 訓練詞嵌入模型 一 應用場景 假設你有乙個商品的資料庫,比如 現在通過使用者的輸入來檢索商品的 方法一 直接匹配法 最簡單的方法就是通過字串進行匹配,比如,使用者輸入 椅子 就用 椅子 作為關鍵字進行搜尋,很容易找到椅子的 就是200元 個。方法二 語義相似法 但有時使用者輸...