一直以為機器學習的重點在於設計精巧、神秘的演算法來模擬人類解決問題。學了這門課程才明白如何根據實際問題優化、調整模型更為重要。事實上，機器學習所使用的核心演算法幾十年來都沒變過。
什麼是機器學習呢？以二類分類監督學習為例，假設我們已經有了一堆訓練資料，每個訓練樣本可以看作n維空間裡的乙個點，那麼機器學習的目標就是利用統計演算法算出乙個將這個n維空間分成兩個部分（也就是把空間切成兩半）的分介面，使得相同類別的訓練資料在同乙個部分裡（在分介面的同側）。而所用的統計演算法無非是數學最優化理論的那些演算法，梯度下降法等等。
在機器學習的模型中，神經網路是乙個比較特殊的模型。因為它比較萬能。萬能二字可不是隨便說說的，有定理為證，萬能近似定理說，當神經網路的隱藏單元足夠多，它就能逼近任意函式。也就是說，只要提供的訓練資料量充足，就一定能用乙個隱藏單元夠多的神經網路去擬合這些訓練資料。然而神經網路也有乙個很嚴重的缺點：收斂速度太慢。這一缺點導致很長時間以來神經網路基本上都只能當作理論的標桿而很少被應用於實際問題。
近年來神經網路的興起得益於三點：1. 演算法進展；2. 大資料；3. 硬體提公升。這三點使得神經網路（特別是深層網路）的訓練速度大幅度提公升。前面有說到，模型優化調整過程對於模型的建立至關重要。使用機器學習解決實際問題是乙個持續迭代探索優化的過程，需要不斷地試錯。就好比在走迷宮，你不可能一開始就知道正確的路線在哪，只能加快步伐，盡可能快，盡可能早地走過每一條死路，並祈禱出口是存在著的。優化調整需要反覆地訓練模型，觀察結果。在以前，一次訓練可能耗時幾個月甚至幾年，這種情況下進行迭代調優的時間成本是不可接受的。而現在一次迭代可能只需要很短的一段時間，同時併發技術也使得同時訓練不同引數的模型的方案變得可行。快速迭代，優化調整，使神經網路能夠越來越多的應用於各種實際問題。
吳恩達的課程數學上是比較基礎的。課程前面部分講解了神經網路相關的主要演算法，後面則側重於講工程上如何使用各種策略來調整優化模型使之能夠快速地擬合實際問題。下圖是對這門課主要知識點的總結。放在這兒以後回頭溫習用。
吳恩達深度學習課程筆記 11
目標檢測 detection 其實是乙個非常困難的問題，一幅待檢測中可能包含許多目標，這些目標的類別多種多樣，同一類別的目標數目可能也不唯一。可以從乙個簡化的問題去入手，那就是分類定位 classification with location 這個問題只在影象分類任務上更進一步，不僅要分類，還要框出...
吳恩達深度學習筆記
2.02 紅色為小標題，藍色比較重要 第四講第二週 4.2.1 為什麼要進行例項 4.2.2 經典網路 lenet 5網路當時還沒有padding,所以在卷積過程當中越來越小 也沒有relu函式，當時這個例子用的是sigmoid函式。超級引數不是很多。這個典型的網路有padding，使用的是relu...
吳恩達深度學習筆記
目錄導數的細節 向量化python中的廣播 第二部分深度學習內容 吳恩達講深度學習 1.資料量更大 2.演算法越來越優 3.業務場景越來越多樣化 4.學術界or工業界越來越卷 私以為 邏輯回歸是最簡單的二分類模型,也可以說是後續深度神經網路的基礎框架.達叔的演算法知識第一課.邏輯回歸的引數是w和b,...