實驗資料支援第乙個
深度和寬度對於函式複雜度的貢獻不同
深層問題：梯度消失
多層神經網路可以看成乙個復合的非線性多元神經網路
誤差反向傳播 利用梯度
梯度：多元函式在每個點有多個方向，每個方向都有方向導數，梯度 向量 方向為最大方向導數的方向 模 最大方向導數的值
引數優化：梯度下降
沿負梯度方向更新引數可以使函式值下降
學習使用pytorch深度學習開發框架
區域性最小值、梯度消失解決方法 選擇乙個比較好的初始點
自編碼器：
最初用於降維 後來有堆疊自編碼器
自編碼器r層編碼，r層解碼
bp演算法全稱叫作誤差反向傳播(error back propagation，或者也叫作誤差逆傳播)演算法。其演算法基本思想為：輸入訊號經輸入層輸入，通過隱層計算由輸出層輸出，輸出值與標記值比較，若有誤差，將誤差反向由輸出層向輸入層傳播，在這個過程中，利用梯度下降演算法對神經元權值進行調整。受限玻爾茲曼機（rbm）
兩層神經網路（可見層v、隱藏層h） 二分圖
沒有顯式重構過程
輸入v，通過p(h|v)得到隱藏層h；輸入h，通過p(v|h)得到v
玻爾茲曼來自於能量分布，通過能量分布定義聯合分布
深度學習概述
深度學習概述 1.深度學習定義 深度學習 deep learning 起源於人工神經網路，它的定義 通過組合低層特徵形成更加抽象的高層特徵或類別，從而從大量的輸入資料中學習有效特徵表示，並把這些特徵用於分類 回歸和資訊檢索的一種技術。何謂為深度 網路學習得到的函式中，非線性運算組合水平的數量。2深度...
深度學習概述
rnn,recurrent neural network,迴圈神經網路。在rnn中，神經元的輸出可以在下乙個時間戳直接作用到自身，即第i層神經元在m時刻的輸入，除了 i 1 層神經元在該時刻的輸出外，還包括其自身在 m 1 時刻的輸出。適用場景 自然語言處理 語音識別 手寫體識別等。因為樣本出現的時...
深度學習概述
part 5 深度學習的應用 part 6 總結與展望 文章 常虹，山世光.深度學習概述 j 資訊科技快報.深度學習是相對於svm knn gradient boost等淺層學習演算法而言的。深度是指乙個流向圖 flow graph 從輸入到輸出所走的最長的路徑。例如svm深度為2，第一層是核輸出或...