準備入坑下深度學習啦，好好學習，天天向上嘎嘎
整個ppt的思維導圖如下，**為深度學習導論 - 讀李巨集毅《1天搞懂深度學習》
神經網路的思想**於對人腦生理上的研究。
人類智慧型最重要的部分是大腦，大腦雖然複雜，它的組成單元卻是相對簡單的，大腦皮層以及整個神經系統，是由神經元細胞組成的。而乙個神經元細胞，由樹突和軸突組成，它們分別代表輸入和輸出。連在細胞膜上的分叉結構叫樹突，是輸入，那根長長的「尾巴」叫軸突，是輸出。神經元輸出的有電訊號和化學訊號，最主要的是沿著軸突細胞膜表面傳播的乙個電脈衝。忽略掉各種細節，神經元，就是乙個積累了足夠的輸入，就產生一次輸出（興奮）的相對簡單的裝置。
樹突和軸突都有大量的分支，軸突的末端通常連線到其他細胞的樹突上，連線點上是乙個叫「突觸」的結構。乙個神經元的輸出通過突觸傳遞給成千上萬個下游的神經元，神經元可以調整突觸的結合強度，並且，有的突觸是促進下游細胞的興奮，有的是則是抑制。乙個神經元有成千上萬個上游神經元，積累它們的輸入，產生輸出。
神經網路和人腦類似，存在多個層級（layer），每個層級都有多個節點（神經元），層級和層級之間相互連線（軸突），最終輸出結果。
對於神經網路的計算能力可以理解為通過一層層layer的計算歸納，逐步的將抽象的原始資料變的具體。以識別為例，輸入是乙個個畫素點，經過每層神經網路，逐步變化成為線、面、物件的概念，然後機器有能力能夠識別出來。
當乙個模型輸出結果之後，如果跟預想的結果有偏差（即存在較大的損失）->降低損失->尋找乙個可以降低損失的函式->更改引數值（權重，偏差等）
由此可見，對資料的訓練是乙個逆向的思維，由結果不斷地去調整網路，直到結果滿意。）
輸出層（也可以叫做選擇層），將softmax層作為輸出層。
我們知道max，假如說我有兩個數，a和b，並且a>b，如果取max，那麼就直接取a，沒有第二種可能。但有的時候我不想這樣，因為這樣會造成分值小的那個飢餓（即一直取不到）。所以我希望分值大的那一項經常取到，分值小的那一項也偶爾可以取到，那麼我用softmax就可以了。現在還是a和b，a>b，如果我們取按照softmax來計算取a和b的概率，那a的softmax值大於b的，所以a會經常取到，而b也會偶爾取到，概率跟它們本來的大小有關。所以說不是max，而是softmax
訓練過程中會發現了兩種情況：
1. 沒有辦法得到很好的訓練結果 ---》 重新選擇訓練方式
2. 沒有辦法得到很好的測試結果 ---》 往往由於過度擬合導致，需要重新定義方法
優化訓練方法的手段：
1. 選擇合適的loss function：當使用softmax作為輸出層的時候，cross entropy效果要優於mean square error
2. mini-batch: 每次訓練使用少量資料而不是全量資料效率更高
3. activation function：使用relu替代sigmoid可以解決梯度消失的問題，可以訓練更深的神經網路
4. adaptive learning rate：可以隨著迭代不斷自我調整，提高學習效率
5. momentum: 可以一定程度上避免陷入區域性最低點的問題
避免過度擬合（overfitting）的方法：
1. early stopping：使用cross validation的方式，不斷對validation data進行檢驗，一旦發現**精度下降則停止。
2. weight decay：引數正則化的一種方式？
3. dropout：通過隨機去掉一些節點的連線達到改變網路形式，所以會產生出多種網路形態，然後匯集得到乙個最佳結果
4. network structure: 例如cnn等其他形態的網路
convolutional neural network (cnn)
通常情況下，乙個cnn包含多次的卷積、池化，然後flatten，最終再通過乙個深度神經網路進行學習**。cnn在影象、語音識別取得非常好的成績，核心的想法在於一些物體的特徵往往可以提取出來，並且可能出現在的任何位置，而且通過卷積、池化可以大大減少輸入資料，加快訓練效率。
rnn的想法是可以將hidden layer的資料儲存下來，然後作為輸入給下乙個網路學習。這種網路的想法可以解決自然語言中前後詞語是存在關聯性的，所以rnn可以把這些關聯性放到網路中進行學習。
[1] 深度學習導論 - 讀李巨集毅《1天搞懂深度學習》
深度學習導論 讀李巨集毅《1天搞懂深度學習》
先引用他人關於李巨集毅教授關於深度學習導論的ppt，應該非常容易入門。1天搞懂深度學習 300多頁的ppt，台灣李巨集毅教授寫的，非常棒。不誇張地說，是我看過最系統，也最通俗易懂的，關於深度學習的文章。密碼 3mty 廢話少說，先上乾貨，整個ppt的思維導圖如下 作者非常淺顯的指出機器 深度 學習過...
300 頁乾貨！李巨集毅《一天搞懂深度學習》分享
1 前言 今天分享一下李巨集毅老師的 一天搞懂深度學習 ppt，分享給有需要的小夥伴。李巨集毅，分別於2010年和2012年在台灣台北國立台灣大學 ntu 獲得碩士和博士學位。2012年9月至2013年8月，研究院資訊科技創新研究中心博士後。2013年9月至2014年7月，擔任麻省理工學院電腦科學與...
李巨集毅《深度學習》 深度學習簡介
深度學習分為三部分 定義一系列方程，計算方程的loss，然後選出最好的方程 深度學習神經網路類似於人類的大腦的神經網路，每個方程可以看做乙個神經元，不同神經元連線會產生不同結果，在這裡我們介紹一下fully connect feedforward network 每個神經元都與下一層全部的神經元連線...