首先咱們先來回顧一下之前課程所講前向傳播和反向傳播知識點，前往傳播就是從輸入x到最終得到loss值的過程，反向傳播是從最終的loss值經過梯度的傳播最終計算出權重矩陣w中所有引數對於最終的loss值影響大小，更新引數就是通過不同權重引數對終loss值的影響來調節引數，使得咱們的引數矩陣w能夠更擬合咱們的資料，也就是使得最終的loss值能夠降低。這一系列的過程就是相當於完成了一次迭代
下面咱們就來看看神經網路跟傳統的線性分類到底有什麼區別，從公式中我們可以看出，乙個最明顯的區別就是神經網路函式多了乙個max（）計算也就是說我們咱們現在的函式公式變成了乙個非線性的操作，也正是這種非線性的函式使得神經網路相比於傳統的線性分類更強大，因為非線性可以使得咱們的函式去擬合更複雜的資料。
接下來咱們就來看一下神經網路的結構，從途中可以看出，神經網路是乙個層次的結構
輸入層也就是代表著資料來源
隱層這個大家理解起來可能有些費勁，咱們可以把隱層當成是中間層也就是在這裡對輸入資料進行了非線性的變換
啟用函式它是跟隱層在一起的，比如這個max（）函式就是乙個啟用函式，正是因為啟用函式的存在才使得整個神經網路呈現出一種非線性的模式。
輸出層這個就是最終得到的結果了，比如乙個分類任務，最終的輸出就是每個類別的概率值了
我們可以看到對應於多層的網路也就是有多個隱層，相當於咱們又加了一層非線性函式max（），這個理解起來很簡單了吧，對於深層網路來說，它具有更好的非線性也就是說網路的層數越深就更能夠去擬合更複雜的資料。
看過很多講解都提高了把神經網路和人類的腦結構相對比，我覺得這有些增加了遊戲難度，因為很多同學本身對生物學結構就不是很清楚，又搞了這多名詞出來，理解起來好像更費勁了，這裡咱們就不說生物學結構了，直接看右半部分，和之前的線性分類最大的區別就是我們多了乙個activation function也就是咱們剛才所說的啟用函式，可以說正是啟用函式的存在使得整個神經網路變得強大起來。
那麼神經網路能表達多複雜的資料資訊是由什麼決定的呢？這個例子給了咱們很好的解釋，神經網路是表達能力是由神經元的個數，也就是每乙個隱層所函式神經元的個數來決定的，神經元越多，層數越深表達的能力也就越強，理論上我們認為神經元越多越好！
咱們剛才說了神經網路具有很強的表達能力，但是也很危險的，就是說神經網路很容易發成過擬合現象，因為咱們有大量的神經元也就是導致了我們需要的引數是極其多的，那麼該怎麼辦呢？最直接的方法就是加上正則化項，它可以使得咱們的神經網路不至於過擬合很嚴重也是咱們訓練神經網路必做的一項，圖中顯示了正則化的作用！
筆記對應課程：唐宇迪老師的 深度學習入門課程 第八課 神經網路
深度學習入門課程學習筆記01 概述
首先就由乙隻小貓帶咱們走進深度學習的世界吧！對於乙個輸入樣本來說，深度學習和機器學習有著相同的目的，就是要把這個樣本進行最準確的分類。咱們從肉眼看很容易這是乙隻貓，因為我們有著這麼多年的積累常識嘛！但是計算機可不這麼聰明一眼就能看得出來，在計算機中，乙個影象是由畫素點所構成的。這裡可能有同學對於計算...
深度學習入門課程筆記01 概述
首先就由乙隻小貓帶咱們走進深度學習的世界吧！對於乙個輸入樣本來說，深度學習和機器學習有著相同的目的，就是要把這個樣本進行最準確的分類。咱們從肉眼看很容易這是乙隻貓，因為我們有著這麼多年的積累常識嘛！但是計算機可不這麼聰明一眼就能看得出來，在計算機中，乙個影象是由畫素點所構成的。這裡可能有同學對於計算...
深度學習入門課程筆記01 概述
首先就由乙隻小貓帶咱們走進深度學習的世界吧！對於乙個輸入樣本來說，深度學習和機器學習有著相同的目的，就是要把這個樣本進行最準確的分類。咱們從肉眼看很容易這是乙隻貓，因為我們有著這麼多年的積累常識嘛！但是計算機可不這麼聰明一眼就能看得出來，在計算機中，乙個影象是由畫素點所構成的。這裡可能有同學對於計算...