深度學習之基本概論

2021-10-23 18:36:17 字數 1370 閱讀 4061

深度學習(dl, deep learning)是機器學習(ml, machine learning)領域中乙個新的研究方向,它被引入機器學習使其更接近於最初的目標——人工智慧(ai, artificial intelligence)。

深度學習是學習樣本資料的內在規律和表示層次,這些學習過程中獲得的資訊對諸如文字,影象和聲音等資料的解釋有很大的幫助。它的最終目標是讓機器能夠像人一樣具有分析學習能力,能夠識別文字、影象和聲音等資料。 深度學習是乙個複雜的機器學習演算法,在語音和影象識別方面取得的效果,遠遠超過先前相關技術。

深度學習在搜尋技術,資料探勘,機器學習,機器翻譯,自然語言處理,多**學習,語音,推薦和個性化技術,以及其他相關領域都取得了很多成果。深度學習使機器模仿視聽和思考等人類的活動,解決了很多複雜的模式識別難題,使得人工智慧相關技術取得了很大進步。

深度學習是一類模式分析方法的統稱,就具體研究內容而言,主要涉及三類方法:

(1)基於卷積運算的神經網路系統,即卷積神經網路(cnn)。

(2)基於多層神經元的自編碼神經網路,包括自編碼( auto encoder)以及近年來受到廣泛關注的稀疏編碼兩類( sparse coding)。

(3)以多層自編碼神經網路的方式進行預訓練,進而結合鑑別資訊進一步優化神經網路權值的深度置信網路(dbn)。

通過多層處理,逐漸將初始的「低層」特徵表示轉化為「高層」特徵表示後,用「簡單模型」即可完成複雜的分類等學習任務。由此可將深度學習理解為進行「特徵學習」(feature learning)或「表示學習」(representation learning)。

以往在機器學習用於現實任務時,描述樣本的特徵通常需由人類專家來設計,這成為「特徵工程」(feature engineering)。眾所周知,特徵的好壞對泛化效能有至關重要的影響,人類專家設計出好特徵也並非易事;特徵學習(表徵學習)則通過機器學習技術自身來產生好特徵,這使機器學習向「全自動資料分析」又前進了一步。

近年來,研究人員也逐漸將這幾類方法結合起來,如對原本是以有監督學習為基礎的卷積神經網路結合自編碼神經網路進行無監督的預訓練,進而利用鑑別資訊微調網路引數形成的卷積深度置信網路。與傳統的學習方法相比,深度學習方法預設了更多的模型引數,因此模型訓練難度更大,根據統計學習的一般規律知道,模型引數越多,需要參與訓練的資料量也越大。

20世紀**十年代由於計算機計算能力有限和相關技術的限制,可用於分析的資料量太小,深度學習在模式分析中並沒有表現出優異的識別效能。自從2023年, hinton等提出快速計算受限玻耳茲曼機(rbm)網路權值及偏差的cd-k演算法以後,rbm就成了增加神經網路深度的有力工具,導致後面使用廣泛的dbn(由 hinton等開發並已被微軟等公司用於語音識別中)等深度網路的出現。與此同時,稀疏編碼等由於能自動從資料中提取特徵也被應用於深度學習中。基於區域性資料區域的卷積神經網路方法今年來也被大量研究。

深度學習概論

在監督學習中,輸入x,習得乙個函式,對映到輸出y。比如上述應用於房價 的例子,輸入房屋的一些特徵,就能輸出 資料規模不大時,各種演算法之間的優劣很難衡量,最終的效能更多取決於手工設計元件的技能。由於傳統的機器學習模型無法處理海量的資料,資料規模過大後,它們的效能變進入了瓶頸期。與20年前相比,現在收...

AI 深度學習概論

什麼是是神經網路?假如有6間房屋的資料集,已知房子的面積,單位是平方公尺或平方英呎,已知房子的 如果通過這6間房子的 和房子的面積,房子的 首先要建立起乙個資料模型 x軸為 y軸為房子面積的模型 用這些資料,來擬合一條直線,但是明白一點,不可能為負數,然後一條擬合直線出來了 這個 房價的模型,是最簡...

深度學習概論學習筆記

神經網路是乙個受大腦工作方式開發出來的強力學習演算法 我的理解是模擬spring框架中 mvc的 dao層,service層,和 controller層。只不過service層是可以學習 並且自己開發的的。x 輸入 y輸出 假設將3個64x64的矩陣提取出來放入特徵向量。總值為64x64x3 122...