**
1.基礎知識
前饋神經網路、網路層數、輸入層、隱藏層、輸出層、隱藏單元、啟用函式的概念。
感知機相關；定義簡單的幾層網路（啟用函式sigmoid），遞迴使用鏈式法則來實現反向傳播。
啟用函式的種類以及各自的提出背景、優缺點。（和線性模型對比，線性模型的侷限性，去線性化）
深度學習中的正則化（引數範數懲罰：l1正則化、l2正則化；資料集增強；雜訊新增；early stop；dropout層）、正則化的介紹。
深度模型中的優化：引數初始化策略；自適應學習率演算法（梯度下降、adagrad、rmsprop、adam；優化演算法的選擇）；batch norm層（提出背景、解決什麼問題、層在訓練和測試階段的計算公式）；layer norm層。
2.fasttext
fasttext的原理。
利用fasttext模型進行文字分類。
fasttext1
fasttext2
fasttext3 其中的參考
深度學習Day2 神經網路的基礎程式設計
02深度學習筆記 神經網路的基礎程式設計basics of neural network programing 接觸一些新的專業術語 學會如何處理訓練集 前向暫停forward pause 前向傳播forward propagation 反向暫停backward pause 反向傳播backward...
深度學習 神經網路基礎 2
目錄 一 常用標記 樣本 x,y x 為輸入，y 為輸出 輸入 x x in mathbb 是乙個 n 維的特徵向量 輸出 y 取值為0或1 樣本數量 m 樣本空間 y x y x y 如何組織 按列來組織，每一列表示乙個樣本 矩陣 x x x x 矩陣 y y y y sigmoid函式 g z ...
python3 機器學習 神經網路基礎演算法
ls演算法是一種數學優化技術，也是一種機器學習常用演算法。他通過最小化誤差的平方和尋找資料的最佳函式匹配。利用最小二乘法可以簡便的求得未知的資料 1 並使得這些求得的資料與實際資料之間誤差的平方和最小。除此之外最小二乘法還可用於曲線擬合 2 其他一些優化問題 3 也可通過最小化鞥能量或最大化熵用最小...