為何要「深」？
pluskid的部落格 deep learning and shallow learning
模型有更多的引數會有更好的結果，這是毋庸置疑的。
深瘦的模型會比淺胖的模型有更好的表達能力。
雖然理論上單層網路可以表達任意的函式，但是實際上更深的結構在表達函式的能力更出色。
細節見 a visual proof that neural nets can compute any function
更多細節見rich caruana
「do deep nets really need to be deep?」閱讀筆記
參考文獻
home:
a visual proof that neural nets can compute any function
rich caruana
deep learning: theoretical motivations (yoshua bengio)
connections between physics and deep learning
why deep learning works: perspectives from theoretical
chemistry
李巨集毅機器學習 11 為什麼要「深度」學習？
modularization 模組化 speech recognition 方法 tied state 不同tri phone之間共享部分引數 侷限 phoneme的識別是相互獨立的，沒有利用它們之間的聯絡 dnn 兩種方法的引數個數是差不多的 儘管一層hidden layer就足夠模擬任何函式，但...
李巨集毅機器學習課程總結 4
卷積神經網路是深度學習網路中的一種，被廣泛應用在影像處理中。其實對於影象處理方面的問題，使用全連線前饋網路也能實現近似的效果，但是cnn較全連線前饋網路更進一步簡化了神經網路的構架，是人們通過影象處理的特徵和總結出來的經驗進行簡化的，具體特徵是 有一些紋理比整張小得多，某些紋理並不需要看整張就能夠被...
李巨集毅機器學習課程筆記 1
機器學習 自動找函式 f input output 1.regression 輸出是乙個數值 2.classification 分類 二分類 多分類 rnn 迴圈神經網路 cnn 卷積神經網路translation 繪二次元圖4.supervised learning 監督學習labeled dat...