深度學習入門介紹

深度學習是一種從訓練資料出發，經過乙個端到端(end-to-end)的模型，然後直接輸出得到最終結果的一種新模式。

一般的機器學習處理流程如下：

感測器獲得資料——>預處理——>特徵提取——>特徵選擇——>推理,**或識別。

預處理——>特徵提取——>特徵選擇，概況起來就是特徵表達，良好的特徵表達，對最終演算法的準確性起了非常關鍵的作用。

特徵表達一般都是人工完成的，靠人工提取特徵。

好的特徵應具有不變性(大小，尺度和旋轉等)和可區分性。

手工選取特徵是一件非常費力，啟發式(需要專業知識)的方法，能不能選取好很大程度上靠經驗和運氣，而且它的調節需要大量的時間。

deeplearning(unsupervised feature learning不需要人參與的特徵選取) 就是自動學習特徵的。

總的來說，人的視覺系統的資訊處理是分級的。從低階的v1區提取邊緣特徵，再到v2區的形狀或者目標的部分等，再到更高層，整個目標，目標的行為等。

也就是說高層的特徵是低層特徵的組合，從低層到高層的特徵表示越來越抽象，越來越能表示語義或者意圖。而抽象層面越高，存在的可能猜測就越少，就越有利於分類。

特徵是機器學習系統的原材料，對最終模型的影響是毋庸置疑的。如果資料被很好的表達成了特徵，通常線性模型就能達到滿意的精度。

特徵的粒度,複雜圖形往往由一些基本結構組成。乙個圖可以通過64種正交的edges來線性表示。有20種基本的聲音結構，其餘的聲音可以由這20種基本結構合成。

v1看畫素是畫素級，v2看v1是畫素級，這個是層次遞進的，高階層次表達由底層表達的組合而成。專業點說就是基basis.

v1提取的basis是邊緣，然後v2是v1層這些basis的組合，這時候v2區得到的又是高一層的basis.即上一層basis組合的結果。上上層又是上一層的組合basis.

直觀上說，就是找到make sense的小patch再將其進行combine,就得到了上一層的feature,遞迴向上learning feature.

deeplearning需要多層來獲得更抽象的特徵表達。

深度學習演算法之自動編碼器

自動編碼器，還不能用來分類資料，它只是學會了如何去重構或者復現它的輸入而已，它還沒有學習如何去連線乙個輸入和乙個類。或者它只是學習獲得了乙個可以良好代表輸入的特徵，這個特徵可以最大程度上代表原輸入訊號。

那麼，為了實現分類，我們就可以在自動編碼器的最頂的編碼層新增乙個分類器，然後通過標準的多層神經網路的監督訓練方法去訓練。

這時候，我們需要將最後層的特徵code輸入到最後的分類器，通過有標籤樣本，通過監督學習進行微調。這也分兩種:

一種是只調整分類器；

另一種是通過有標籤樣本，微調整個系統:(如果有足夠多的資料，這個是最好的，end-to-end learning端對端學習).

一旦監督訓練完成，這個網路就可以用來分類了。

深度學習是關於自動學習要建模的資料的潛在(隱含)分布的多層(複雜)表達的演算法。深度學習演算法自動的提取分類需要的低層次或高層次特徵。

高層次特徵，一是指該特徵可以分級(層次)地依賴其他特徵，例如，對於機器視覺，深度學習演算法從原始影象去學習得到它的乙個低層次表達，例如邊緣檢測器，小波濾波器等，然後再這些低層次表達的基礎上再建立表達，例如這些低層次表達的線性或非線性組合，然後重複這個過程，最後得到乙個高層次表達。

此外，從模式識別特徵和分類器的角度，deep learning框架將feature和分類器結合到乙個框架中，用資料去學習feature,在使用中減少了手工設計feature的巨大工作量(這是目前工業界工程師付出努力最多的方面)。因此，不僅效果可以更好，而且，使用起來也有很多方便之處。

以上內容來自

自己總結一下：

深度學習框架可大致分為兩個部分：

一，獲取原始資料的特徵表達；

二，將原始資料的特徵表達作為輸入，傳給分類器，做分類，**或識別；

什麼是原始資料的特徵表達？

原始資料本質特徵的分布式表示，與原始資料等價的另一種更高階，更抽象的表示，這種表示更易於被分類器處理。

深度學習演算法就是通過逐層提取原始資料的特徵，組合底層特徵得到高層特徵，最終得到原始資料的特徵表達。也就是特徵學習的過程。

高層特徵由底層特徵組合而來，越高層的特徵越抽象，語義越具體，越易於分類。深度模型(自動編碼器，波茲曼機，卷積神經網路等)是得到資料特徵表達的工具。

可以這樣理解，原始資料集放入深度模型訓練完成後，得到的是可以反映原始資料集本質特徵的乙個函式，與原始資料集類似的資料都可以通過這個函式來表示。

什麼是分類器?