動手學習深度學習（筆記一）

應用深度學習需要思考的問題：

1.問題的動機和特點；

2.將大量不同型別神經網路層通過特定的方式組合在一起的模型背後的數字原理；

3.在原始資料上擬合極複雜的深層模型的優化演算法；

4.有效訓練模型、避免數值計算陷阱以及充分利用硬體效能所需的工程技能；

5.為解決方案挑選合適的變數（超引數）組合的經驗。

時至今日，絕大多數神經網路都包含一下的核心原則：

1.交替使用線性處理單元與非線性處理單元，它們經常被成為「層」。

2.使用鏈式法則（即反向傳播）來更新網路的引數。

機器學習和深度學習的關係

機器學習研究如何使用計算機系統利用經驗改善效能。在機器學習的眾多研究方向中，表徵學習關注如何自動找出表示資料的合適方式，以便更好地將輸入變為正確的輸出。

該書要重點**的深度學習是具有多級表示的表徵學習方法。在每一級，深度學習通過簡單的函式將該級的表示變換為更高階的表示。因此，深度學習模型也可以看作是由許多簡單函式復合而成的函式。當這些符合的函式足夠多時，深度學習模型就可以表達非常複雜的變換。

深度學習可以逐級表示越來越抽象的概念或模式。以影象為例，它的輸入是一堆原始畫素值。深度學習模型中，影象可以逐級表示為特定位置和角度的邊緣、由邊緣組合得出的花紋、由多種花紋進一步匯合得到的特定部位的模式等。最終，模型能夠較為容易根據更高階的表示完成給定的任務，如識別影象中的物體。

在自然語言處理領域，詞袋模型多年來都被認為是不二之選。詞袋模型是將乙個句子對映到乙個詞頻向量的模型，但這樣的作法完全忽略了單詞的排列順序或者句中的標點符號。

1.機器學習研究如何使用計算機系統利用經驗改善效能。它是人工智慧領域的分支，也是實現人工智慧的一種手段。

2.作為機器學習的一類，表徵學習關注如何自動找出表示資料的合適方式。

3.深度學習是具有多級表示的表徵學習方法。它可以逐級表示越來越抽象的概念或模式。

4.深度學習所基於的神經網路模型和利用資料程式設計的核心思想實際上已經被研究了數百年。