深度學習概述

2021-07-02 05:16:15 字數 675 閱讀 6329

深度學習概述

1.深度學習定義

深度學習(deep learning)起源於人工神經網路,它的定義:通過組合低層特徵形成更加抽象的高層特徵或類別,從而從大量的輸入資料中學習有效特徵表示,並把這些特徵用於分類、回歸和資訊檢索的一種技術。

何謂為深度:網路學習得到的函式中,非線性運算組合水平的數量。

2深度學習與淺層學習的優勢:

(1)具有多層非線性對映的深層結構,可以實現複雜函式逼近。

(2)可以通過非監督預訓練實現分布式表示,多層對映提取輸入的主要結構資訊;而單層計算能力有限,則難以實現。

(3)它是對人類大腦皮層的最好模擬。

3.深度學習網路結構主要分為

2大類:

第一類是區分型深度

網路結構,這型別的深度網路採用有監督的訓練,獲得給定目標樣本下輸入的分布情況,經過有監督的訓練以實現區分輸入型別的目的。典型的網路結構深度神經網路dnn(例如:多層感知器)

和卷積網路(cnn)。

第二類是生成型深度

網路結構

,這類深度網路採用無監督預訓練提取資料的高階相關特性,而無監督預訓練的過程可以看作是乙個生成模型的過程。典型的網路結構是深度信念網路(dnn)和堆疊自動編碼器(sae)。

還有一些以上兩類的混合類:卷積網路和自動編碼器結合成卷積自動編碼器,限制玻爾茲曼機和卷積網路結合構成卷積深度信念網路。

深度學習概述

rnn,recurrent neural network,迴圈神經網路。在rnn中,神經元的輸出可以在下乙個時間戳直接作用到自身,即第i層神經元在m時刻的輸入,除了 i 1 層神經元在該時刻的輸出外,還包括其自身在 m 1 時刻的輸出。適用場景 自然語言處理 語音識別 手寫體識別等。因為樣本出現的時...

深度學習概述

part 5 深度學習的應用 part 6 總結與展望 文章 常虹,山世光.深度學習概述 j 資訊科技快報.深度學習是相對於svm knn gradient boost等淺層學習演算法而言的。深度是指乙個流向圖 flow graph 從輸入到輸出所走的最長的路徑。例如svm深度為2,第一層是核輸出或...

深度學習概述

問題 模型引數w 訓練 不斷訓練引數w的取值 模型 得到模型 分類 判別 結果deep learning是一種實現機器學習的技術,是機器學習重要的分支。其源於人工神經網路的研究。深度學習模型結構是一種含多隱層的神經網路。通過組合底層特稱形成更加抽象的高層特徵。資料集的定義 資料集在數學上通常表示為的...