word2vec ：將詞對映到乙個詞空間中，故 word2vec 被稱為詞嵌入；並且以詞空間的維度組成乙個向量，故 word2vec 也被稱之為詞向量。
word2vec **於詞的分布假說，詞的語義由其上下文所決定。
思考：詞的語義並不一定是由其上下文所決定的，例如說話人的語氣也會導致不同的意思，以及不同身份的人說同樣的話也會導致不同的意思。
上下文是由詞窗所決定的，而詞窗是要**的詞（下文皆稱為目標詞）往左邊或右邊擷取的最長長度，並非我們平常所理解的一句話或一段話。
3、word2vec 在深度學習中的應用
①統計語言模型
統計語言模型是通過計算句子中前 n-1 個詞的概率來計算第 n 個最有可能的詞的概率的概率模型。而馬爾科夫則假設為 第 n 個詞僅與第 n -1 個詞有關。
而在實踐中則一般會對馬爾科夫假設進行擴充套件，即第 n 個詞僅與第 n -1 和第 n - 2 個詞有關。
②神經網路語言模型的 skip-gram 模型和 cbow 模型
skip-gram 模型是通過目標詞來**其上下文（即目標詞的左邊和右邊的詞，詞的長度取決於詞窗）
cbow（continuous bag-of-words，連續詞袋模型）模型則與 skip-gram 相反，它是通過上下文來**目標詞
③word2vec 的神經網路結構
word2vec 的神經網路結構分為三層，分別是輸入層、一層隱藏層、輸出層，雖然在深度上算不上深，但是在大規模資料上的訓練效果卻確實不錯。
與word2vec 原來word2vec那麼簡單
說到word2vec,它可謂非結構化資料裡面的佼佼者,尤其是在推薦和nlp當中,足以體現它的優勢所在,並且多年一直備受工業界喜愛.那麼word2vec到底是怎麼個原理的,發現身邊總是有很多人問,確不能準確的說出為什麼是兩個矩陣,到底是怎麼自動反向傳播的,以及對於softmax之後那麼大的維度資料,是...
word2vec學習參考
最近看nlp的東西比較多。就拿現在google 基於神經網路做的 word2vec 作為部落格的開始吧，今後會陸陸續續補充內容。基本是分4塊內容 1.神經網路語言模型 2.語言模型分層優化 3.word2vec 原理 4.google word2vec 看一點寫一點,先扔些參考資料鏈接上去。附上在研...
Word2Vec知識總結
word2vec是乙個產生詞向量的模型，是乙個雙層的神經網路 非常善於找出詞彙的相似度，同時可用於處理之前的技術 像one hot編碼和wordnet 處理不了的語義關係。它可以利用神經網路從大量的無標註的文字中提取有用資訊。我們也可以將它看成是乙個工具，它裡面包含了三種重要的模型 1 nnlm 神...