deep learning.為了克服神經網路訓練中的問題，採用了與神經網路很不同的訓練機制。傳統神經網路中，採用的是back propagation的方式進行，簡單來講就是採用迭代的演算法來訓練整個網路，隨機設定初值，計算當前網路的輸出，然後根據當前輸出和label之間的差去改變前面各層的引數，直到收斂（整體是乙個梯度下降法）。而deep learning整體上是乙個layer-wise的訓練機制。這樣做的原因是因為，如果採用back propagation的機制，對於乙個deep network（7層以上），殘差傳播到最前面的層已經變得太小，出現所謂的gradient diffusion（梯度擴散）。微笑什麼是layer-wise？答：這算是乙個思想吧，就是網路有很多層，然後我一層一層的訓練。先訓練好第一層，然後固定第一層，將第一層的輸出作為第二層的輸入，訓練第二層。然後固定第一和第二層，將第二層的輸出作為第三層的輸入，訓練第三層……一直往下，知道需要的層數。然後再在網路最頂，加乙個分類層，訓練的時候，全部層一起訓練（微調）。
rnn,recurrent neural network,迴圈神經網路。
在rnn中，神經元的輸出可以在下乙個時間戳直接作用到自身，即第i層神經元在m時刻的輸入，除了（i-1）層神經元在該時刻的輸出外，還包括其自身在（m-1）時刻的輸出。
適用場景：自然語言處理、語音識別、手寫體識別等。因為樣本出現的時間順序對於這三種應用非常重要。
lstm,long-short term memory，長短期記憶(模型)。
根據深度學習三大牛的闡述，lstm網路已被證明比傳統的rnns更加有效。
原生的rnn會遇到乙個很大的問題，叫做 the vanishing gradient problem for rnns，也就是後面時間的節點對於前面時間的節點感知力下降，也就是忘事兒。解決這個問題用到的就叫lstm。
乙個cell由三個gate（input、forget、output）和乙個cell單元組成。
cnn,convolutional neural network,卷積神經網路。
下層神經元和所有上層神經元都能夠形成連線，帶來的潛在問題是引數數量的膨脹。
對於cnn來說，並不是所有上下層神經元都能直接相連，而是通過「卷積核」作為中介。同乙個卷積核在所有影象內是共享的，影象通過卷積操作後仍然保留原先的位置關係。
適用場景：計算機視覺問題。
深度學習概述
深度學習概述 1.深度學習定義 深度學習 deep learning 起源於人工神經網路，它的定義 通過組合低層特徵形成更加抽象的高層特徵或類別，從而從大量的輸入資料中學習有效特徵表示，並把這些特徵用於分類 回歸和資訊檢索的一種技術。何謂為深度 網路學習得到的函式中，非線性運算組合水平的數量。2深度...
深度學習概述
rnn,recurrent neural network,迴圈神經網路。在rnn中，神經元的輸出可以在下乙個時間戳直接作用到自身，即第i層神經元在m時刻的輸入，除了 i 1 層神經元在該時刻的輸出外，還包括其自身在 m 1 時刻的輸出。適用場景 自然語言處理 語音識別 手寫體識別等。因為樣本出現的時...
深度學習概述
part 5 深度學習的應用 part 6 總結與展望 文章 常虹，山世光.深度學習概述 j 資訊科技快報.深度學習是相對於svm knn gradient boost等淺層學習演算法而言的。深度是指乙個流向圖 flow graph 從輸入到輸出所走的最長的路徑。例如svm深度為2，第一層是核輸出或...