fasttext是一種典型dl詞向量的表示方法，它通過embedding層將單詞對映到稠密空間，然後將句子中所有的單詞在embedding空間中進行平均，進而完成分類操作；
它是乙個三層神經網路：輸入層、隱含層、輸出層；
它用單詞的embedding疊加獲得的文件向量，將相似的句子分為一類；
它學到的embedding空間維度比較低，可以快速進行訓練；
如何使用驗證集調參
1.通過閱讀文件，要弄清楚這些引數的大致含義，哪些引數會增加模型的複雜度
2.通過驗證集上進行驗證模型精度，找到模型在是否過擬合還是欠擬合
3.基於驗證集的結果調整超引數，使得模型效能更優（沒明白 10折交叉驗證，怎麼調？）
常用的精度測試方法主要是交叉驗證，10次的結果的均值作為對演算法精度的估計，一般還需要進行多次10折交叉驗證求均值。這個方法的優勢在於，同時重複運用隨機產生的子樣本進行訓練和驗證，每次的結果驗證一次。
新聞文字分類 Task6 基於深度學習的文字分類3
學習目標 將有限的注意力集中在重要的資訊上，從而節省資源，快速獲取最有效的資訊。這就是簡單的attention is all you need。個人理解 有個圖書館 source 裡面有很多的書籍，為了方便管理我們給他們做了標籤，形成 標籤，書籍 k，v 這種方式，當我們需要了解某個資訊，比如北京大...
學習筆記Task4
趕專案進度，僅了解 神經網路是由具有適應性的簡單單元所組成的廣泛並行互連的網路，它的組織能夠模擬生物神經系統對真實世界所做出的的互動反應。神經網路最基本的成分是神經元模型，當通過神經元的資訊信好超過某乙個閾值，那麼該神經元就會啟用，從而作用於下乙個神經元。在m p神經元模型中，神經元接收到來自n個其...
動手學深度學習PyTorch版 task4
目錄 task1 task2 task3 task4 本章節 task5 task6 task8 task9 task10 1 機器翻譯及相關技術 機器翻譯 mt 將一段文字從一種語言自動翻譯為另一種語言，用神經網路解決這個問題通常稱為神經機器翻譯 nmt 主要特徵 輸出是單詞序列而不是單個單詞。輸...