**部落格：
整個ppt的思維導圖如下，**為深度學習導論 - 讀李巨集毅《1天搞懂深度學習》
神經網路的思想**於對人腦生理上的研究。
人類智慧型最重要的部分是大腦，大腦雖然複雜，它的組成單元卻是相對簡單的，大腦皮層以及整個神經系統，是由神經元細胞組成的。而乙個神經元細胞，由樹突和軸突組成，它們分別代表輸入和輸出。連在細胞膜上的分叉結構叫樹突，是輸入，那根長長的「尾巴」叫軸突，是輸出。神經元輸出的有電訊號和化學訊號，最主要的是沿著軸突細胞膜表面傳播的乙個電脈衝。忽略掉各種細節，神經元，就是乙個積累了足夠的輸入，就產生一次輸出（興奮）的相對簡單的裝置。
樹突和軸突都有大量的分支，軸突的末端通常連線到其他細胞的樹突上，連線點上是乙個叫「突觸」的結構。乙個神經元的輸出通過突觸傳遞給成千上萬個下游的神經元，神經元可以調整突觸的結合強度，並且，有的突觸是促進下游細胞的興奮，有的是則是抑制。乙個神經元有成千上萬個上游神經元，積累它們的輸入，產生輸出。
神經網路和人腦類似，存在多個層級（layer），每個層級都有多個節點（神經元），層級和層級之間相互連線（軸突），最終輸出結果。
對於神經網路的計算能力可以理解為通過一層層layer的計算歸納，逐步的將抽象的原始資料變的具體。以識別為例，輸入是乙個個畫素點，經過每層神經網路，逐步變化成為線、面、物件的概念，然後機器有能力能夠識別出來。
當乙個模型輸出結果之後，如果跟預想的結果有偏差（即存在較大的損失）->降低損失->尋找乙個可以降低損失的函式->更改引數值（權重，偏差等）
由此可見，對資料的訓練是乙個逆向的思維，由結果不斷地去調整網路，直到結果滿意。）
輸出層（也可以叫做選擇層），將softmax層作為輸出層。
我們知道max，假如說我有兩個數，a和b，並且a>b，如果取max，那麼就直接取a，沒有第二種可能。但有的時候我不想這樣，因為這樣會造成分值小的那個飢餓（即一直取不到）。所以我希望分值大的那一項經常取到，分值小的那一項也偶爾可以取到，那麼我用softmax就可以了。現在還是a和b，a>b，如果我們取按照softmax來計算取a和b的概率，那a的softmax值大於b的，所以a會經常取到，而b也會偶爾取到，概率跟它們本來的大小有關。所以說不是max，而是softmax
訓練過程中會發現了兩種情況：
1. 沒有辦法得到很好的訓練結果 ---》 重新選擇訓練方式
2. 沒有辦法得到很好的測試結果 ---》 往往由於過度擬合導致，需要重新定義方法
優化訓練方法的手段：
1. 選擇合適的loss function：當使用softmax作為輸出層的時候，cross entropy效果要優於mean square error
2. mini-batch: 每次訓練使用少量資料而不是全量資料效率更高
3. activation function：使用relu替代sigmoid可以解決梯度消失的問題，可以訓練更深的神經網路
4. adaptive learning rate：可以隨著迭代不斷自我調整，提高學習效率
5. momentum: 可以一定程度上避免陷入區域性最低點的問題
避免過度擬合（overfitting）的方法：
1. early stopping：使用cross validation的方式，不斷對validation data進行檢驗，一旦發現**精度下降則停止。
2. weight decay：引數正則化的一種方式？
3. dropout：通過隨機去掉一些節點的連線達到改變網路形式，所以會產生出多種網路形態，然後匯集得到乙個最佳結果
4. network structure: 例如cnn等其他形態的網路
convolutional neural network (cnn)
通常情況下，乙個cnn包含多次的卷積、池化，然後flatten，最終再通過乙個深度神經網路進行學習**。cnn在影象、語音識別取得非常好的成績，核心的想法在於一些物體的特徵往往可以提取出來，並且可能出現在的任何位置，而且通過卷積、池化可以大大減少輸入資料，加快訓練效率。
rnn的想法是可以將hidden layer的資料儲存下來，然後作為輸入給下乙個網路學習。這種網路的想法可以解決自然語言中前後詞語是存在關聯性的，所以rnn可以把這些關聯性放到網路中進行學習。
一天搞懂深度學習 深度學習簡介
前言 一天搞懂深度學習 是乙個300多頁的ppt，是台灣學者李巨集毅寫的。雖然對於深度學習也有一定的了解了，但是有些知識點還是會經常忘記。溫故知新，所以決定重看這本算是入門書籍吧。一 深度學習介紹 1 神經網路主要有三個部分 定義模型函式 判斷模型函式好壞 選擇乙個最好的函式 1 神經網路之所以叫神...
300 頁乾貨！李巨集毅《一天搞懂深度學習》分享
1 前言 今天分享一下李巨集毅老師的 一天搞懂深度學習 ppt，分享給有需要的小夥伴。李巨集毅，分別於2010年和2012年在台灣台北國立台灣大學 ntu 獲得碩士和博士學位。2012年9月至2013年8月，研究院資訊科技創新研究中心博士後。2013年9月至2014年7月，擔任麻省理工學院電腦科學與...
一天理解深度學習 筆記
知乎高票答案推薦，看了就得寫筆記，以下 神經中樞由大量的神經元組成，神經元接收樹突端傳來的化學物質 資訊 該神經元的化學電位發生改變，達到閾值，神經元啟用，通過軸突向其他神經元傳送化學物質，而機器學習中的神經網路 借圖，均方損失 sum 反應了半天，原來latex的公式問題很不好弄，他是寫了之後需要...