rnn和半監督學習需要後面補上。
word embedding是想做乙個什麼事情呢，是希望把詞彙用乙個比較短的向量表達出來，因為通常的詞彙的表達是通過乙個非常長的（詞典那麼長的）1-of-n向量來表達，這樣的表達沒有資訊，我們希望能用乙個短向量（例如10或100維）來表達詞彙，就需要每個維度表達一些資訊，希望含義相近的詞彙他們的向量也比較接近。這是一種無監督學習。
那麼怎麼做呢？有兩種方式，一種是基於計數的，一種是基於**的。
基於計數的就是看兩個詞彙同時出現的次數，用兩個向量的內積與這個次數的差值作為loss進行學習。基於**的方法是說，讓神經網路學習乙個詞後面接的詞彙的概率，這樣都可以利用大量資料把無監督學習轉換成有監督學習的形式。
李巨集毅《機器學習》課程筆記（作業七 模型壓縮）
有多種模型壓縮的方法。第乙個是網路剪枝，因為神經網路往往是過度引數化，所以刪掉一部分網路引數。先訓練好乙個大的神經網路，然後評估每個引數是否重要，評估方法其實就是看是否接近0。然後把不重要的東西移除。用新的網路重新訓練一下，update一下引數，可以把損傷移除。注意一次不刪掉很多，怕恢復不回來，所以...
李巨集毅《機器學習》課程筆記（作業二 分類）
為什麼不能直接用回歸的方式來做分類的問題，因為在回歸裡面，可能同一類裡面的樣本點他們的feature差異很大，但是lable都是1，這就要求求出來的model兼顧所有的樣本點，那麼可能導致model效能較差。下圖表現的非常清晰。在做分類的時候，用到貝葉斯公式，可是公式中的p x c1 應該怎麼算呢？...
李巨集毅機器學習課程筆記 1
機器學習 自動找函式 f input output 1.regression 輸出是乙個數值 2.classification 分類 二分類 多分類 rnn 迴圈神經網路 cnn 卷積神經網路translation 繪二次元圖4.supervised learning 監督學習labeled dat...