①bp神經網路：
參考：李巨集毅 slides dnn backprop.pdf
②優化：
1. mini-batch: 小批量梯度下降
2. 設定 validuation data：調節超引數
3. activation function: relu， leakly relu， prelu，maxout
4. loss function：softmax + 交叉熵代價函式 ——> 分類問題
二次代價函式 + 正則項 ——> 回歸問題
5. normlization（輸入/特徵歸一化）
6. 規範化：加入正則化項（l1，l2） ——> 尋找小的權重與最小化原始代價函式的折中
7. 權重初始化：w ——> 均值：0，方差：1/更號n
b ——> 均值：0，方差：1
8. 梯度優化：learning rate vallina gd
adagrad
動量momentum ，三者見 deep more (v2).pdf
9. 增加訓練資料集（旋轉15 °，扭曲，清除背景噪音等）
10. early stopping (提早終止)
11. 權重衰減：w(t+1) <—— (1-tau * lambda) w(t) - tau * ▽c(w)
12. dropout（訓練階段）:如同訓練大量不同網路的平均。
深度學習基礎知識整理
卷積神經網路相關知識 池化層 作用是在語義上把相似的特徵合併起來。卷積神經網路的應用 檢測 分割 物體識別以及影象的各個領域。這些應用都是使用了大量的有標籤的資料。比如交通訊號識別，生物資訊分割，面部探測，文字 行人以及自然圖形中的人的身體部分的探測。今年，卷積神經網路的乙個重大成功應用是人臉識別。...
深度學習 深度學習基礎知識 Adagrad
adagrad是一種基於梯度的優化演算法 它將學習速率與引數相適應，對不同的變數提供不同的學習率 它增加了罕見但資訊豐富的特徵的影響 因此，它非常適合處理稀疏資料。在基本的梯度下降法優化中，有個乙個常見問題是，要優化的變數對於目標函式的依賴是各不相同的。對於某些變數，已經優化到了極小值附近，但是有的...
深度學習基礎知識介紹
這是一篇medium上獲得近2萬讚的深度學習入門指南，用 為你詳解深度學習中的各個基礎概念。在我們的日常生活中，幾乎隨處可見ai和機器學習這些術語。但，絕大多數人並不明白什麼是ai。理解深度學習如何工作的第一步是掌握下列重要術語之間的區別。1 人工智慧 ai v.s.機器學習 ml 人工智慧是對人類...