特點：採用了relu啟用函式
2、反向傳播計算容易
3、不容易出現梯度發散問題
4、很多隱層輸出為0，使得網路稀疏
5、某些節點壞死，始終輸出為0（因為輸出為0的節點沒法更新權重）
6、容易改變資料的分布（可以使用bn來緩解）
dropout技術
有選擇地忽視某些神經元，起到稀疏的作用
最大池化技術（maxpool）
避免平均池化的模糊效果
步長小於池化核大小
批梯度下降
翻轉、平移、映象、縮放，防止過擬合
網路層數增加到了16-19層
卷積塊由2~3個卷積層組成，增加感受野，降低網路引數
使用relu
資料增強
當層數過多時，精度迅速下降
網路過深導致難以訓練
原因：層數過深 導致梯度消失或者**
殘差神經網路 152層卷積神經網路
本質和lstm的gate類似
總結
卷積核小型化
池化層改進：l-p池化、混合池化、隨機池化
啟用函式改進：relu、elu、prelu
損失函式：交叉熵
機器視覺：圖象分類、目標檢測/跟蹤、語義分割、例項分割
計算機圖形學：建模、渲染
自然語言處理
高老師語重心長地說：學任何東西都要注重本質！！！！！！
不能記個公式就大吉了！！！！！！！
深度學習課堂筆記 5 14
1 引數過多，訓練難度大 2 非凸優化問題，區域性最優影響迭代 3 梯度消失or 4 引數解釋困難 5 過擬合or欠擬合 梯度消失or 產生的原因 1 bp法先天問題 2 初始權重帶來的影響 3 啟用函式選擇不當 4 梯度流動帶來的影響 網路結構本身的問題，如cnn 5 損失值過大帶來的影響 資料集...
java學習，課堂筆記 4 30
定義方法結構 修飾符 訪問修飾符以及非訪問修飾符 返回值型別 方法名 引數列表 引數型別 引數名 類 既包括資料，又包括作用於資料的一組操作的封裝體。物件 是類的例項。注 1 靜態方法裡只能訪問靜態變數，不能訪問例項變數。2 非訪問修飾符 static 全域性的，靜態的。修飾屬性和方法，不能修飾構造...
機器學習課堂筆記（一）
無監督學習和聚類演算法的應用 機器自己去找出資料集內在的關係，機器學習例子 舉個跳棋的例子，乙個電腦程式從許多局跳棋遊戲關於跳棋本身和贏得下局的概率中學習，從而對另外一局跳棋，程式贏得比賽的概率。監督學習的例子 如果 根據戶型 房價，這是回歸問題，而通過戶型來 實際 會比定價高還是低，則是分類問題。...