模式識別或者機器學習需要人來設計特徵提取器，將原始資料轉換為合適的中間表示式或特徵向量，學習子系統（通常為分類器）可以對輸入模式進行檢測或分類。
而深度學習不需要人工設計特徵提取器，而是由機器自動學習獲得，特別適用於於變化多端的自然資料，具有非常優良的泛化能力和魯棒性。
表示學習，直接以原始資料形式提供機器輸入，自動發現用於檢測和分類的表示。
深度學習是一種多層表示學習方法，用簡單的非線性模組構建而成，這些模組將上一層表示（從原始資料開始）轉化為更高層、更抽象的表示。
對於分類問題，高層表示能夠強調重要的類別資訊，同時抑制無關的背景資訊。
一幅影象總是以畫素值陣列形式提供網路輸入，第一層學習到的特徵為邊緣資訊，即某個影象位置是否存在特定朝向的邊緣；第二層檢測邊緣資訊按特定方式排列組成的基本圖案，而不關心邊緣位置的變化；第三層將基本圖案組合起來，對應典型物體的部件；後續層由部件組成的物體。
cnn的四項基本原則：區域性互聯、共享權值、下取樣、多個卷積層。
共享權值意味著更少的參數量，下取樣保證了區域性不變性，多特徵圖允許不同卷積核作為不同特徵提取器，訓練時使用反向傳播演算法。
卷積層的單元組織為特徵圖（feature map），每個單元通過一組成為濾波器組的權值連線到上一層特徵圖的區域性小塊。區域性小塊的加權和將被非線性單元（如relu）處理。同一特徵圖的所有單元共享同一套濾波器組，而同一層的不同特徵圖使用不同的濾波器組。
卷積層的任務是檢測前一層的區域性連線特徵，而下取樣層是將語義相似的特徵融合為乙個。由於相對位置特徵形成乙個基本圖案可能會有些許變化，可靠檢測該圖案可以使用粗粒度位置實現。
卷積層-非線性層-下取樣層堆疊為乙個基本處理棧。
參考《深度學習—21天實戰caffe》
深度學習的過往
幾十年來，構建模式識別和機器學習系統需要技藝高超的工程師和經驗豐富的專家設計特徵提取器 feature extractor 將原始資料 如影象的想數值 轉化為合適的中間表示形式或特徵向量 feature vector 學習子系統 通常為分類器 可以對輸入模式進行檢測或分類。深度學習的方法則不需要人工...
深度學習 1
基本概念 訓練集，測試集 特徵值 監督學習 非監督學習 半監督徐熙 分類 回歸 概念學習 從某個布林函式的輸入輸出訓練樣例中推斷出該布林函式 例項集合x x 樣例 x 每乙個例項 c x 目標概念 學習目標 f x y 訓練集 training set data 訓練樣例training examp...
深度學習1
幾天無聊，看darknet的原始碼 1.學習率 訓練的時候看到輸出資訊沒有learning rate,進 看看，發現 network.c 裡面的get current rate net 就是獲取學習率的，列印出來的rate就是lr啦 另外，訓練densenet的時候，先burning in 1000...