1. 1 word meaning的兩種定義
definition meaning：單詞的含義指代了客觀存在的具體事物，如眼鏡。
distributional similarity meaning：上下文代表了單詞的含義，如下：
distributional similarity meaning也是word2vec演算法的基本假設。
2.1 word2vec概覽
word2vec是乙個軟體包，包含了兩種演算法（skip-gram和cbow），以及兩種高效的訓練方式。本節先介紹低效簡單的訓練方式，之後再介紹這兩種高效方法。
（1）思想：用中心詞**上下文的詞。
（2）損失函式：
其中條件概率用softmax方式計算：
（3）整個skip-gram的前向傳播過程
（4）訓練
梯度下降（略）
CS224D學習筆記
第二次看了，理解深了一些 2017.7.24 傳統方法 通過統計乙個單詞周圍的單詞的頻率，獲得每個單詞的wordvec，然後通過svd降維，去除較大奇異值的矩陣，把vec長度在25 1000內。缺點是1.單詞很多的時候svd複雜度很高 2.要新增新單詞時很困難，擴充套件性差 深度學習可以部分解決。w...
詞向量表示
介紹 lsa是基於滑動視窗的共現矩陣 co occurence 以及svd的方法，通過svd來對共現矩陣進行降維，從而獲得低維度的詞向量。實現 假設window長度為1 語料庫中包含三個句子 i like deep learning.i like nlp.i enjoy flying.通過滑動視窗可...
05詞向量表示理論篇
語料庫 李杏 喜歡 喝 奶茶 詩雅 也 喜歡 喝 奶茶 李杏 同樣 喜歡 喝 果汁 詞典 one hot 表示 李杏 1,0,0,0,0,0,0,0 喜歡 0,1,0,0,0,0,0,0 果汁 0,0,0,0,0,0,0,1 注意 詞典包含8個單詞，每個單詞有唯一索引 在詞典中的順序和在句子中的順序...