1.線性單元
定義：使用乙個可導的線性函式來替代感知器的階躍函式，這種感知器就叫做線性單元
個人理解：感知器還是那個感知器，只是啟用函式變成乙個可導的線性函式：如f（x）=x
如下圖：線性單元與前面所學的感知器（使用階躍函式）的對比，只有啟用函式改為」可導的線性函式「
2.監督學習和無監督學習的概念
監督學習：為了訓練乙個模型，我們要提供這樣一堆訓練樣本：每個訓練樣本既包括輸入特徵x，也包括對應的輸出y(也叫做標記，label)
無監督學習：訓練樣本中只有x而沒有y
目前只考慮監督學習：
其中監督學習的所有樣本誤差的和函式為：
其中：
所以可以寫成
由公式可知：模型的訓練，實際上就是求取到合適的w，使(式2)取得最小值。這在數學上稱作優化問題，而e（w）就是我們優化的目標，稱之為目標函式
個人理解：模型的訓練是求取到合適的w，而通過觀察誤差和函式，實際上模型的訓練的過程即對e(w)求取最小值，因此可以通過梯度下降演算法優化我們的模型
3.梯度下降演算法
公式和介紹：
因此我們的e(w)可以套入梯度下降的演算法，對於神經網路模型訓練的權值w
我們可以寫出：
最終：
個人見解：
與上一節的感知器學習對比，權重w的訓練更新公式替換成了如上圖所示的公式，這樣可以更快地訓練出合適的w
總結：1.使用」可導的線性函式「作為感知器的啟用函式，此時感知器叫做「線性單元」
2.監督學習和無監督學習的區別在於訓練樣本有無y，即實際值
3.梯度下降的演算法可以優化神經網路模型，具體使用在對權值w的訓練上
讀書報告 04 神經網路基礎學習
使用新的啟用函式 relu，公式如下 2.卷積神經網路的網路架構 卷積層 pooling層 也叫池化層 全連線層 2.1卷積層的計算公式 其中d為卷積層的深度 附 影象大小 步幅和卷積後的feature map大小關係 w h 卷積前原影象的寬 高 兩者相同 f filter的寬度 p 原始影象周圍...
（深度學習）神經網路基礎
一 神經網路定義 playground 通過這個位址了解神經網路 1.人工神經網路 artificial neural network，簡寫為ann 也簡稱為神經網路 nn 分別輸入層，輸出層以及隱藏層 2.特點 每個連線都有個權值，同一層神經元之間沒有連線，最後的輸出結果對應的層也稱之為全連線層 ...
讀書筆記 神經網路與深度學習（五）迴圈神經網路
建立乙個額外的延時單元，儲存歷史資訊。延時神經網路在前饋網路中非輸出層都增加了乙個延時器，記錄最近幾次神經元的輸出。這樣就具有了短期記憶能力。自回歸模型是統計學上常用的一類時間序列模型，用乙個變數的歷史資訊來 自己。有外部輸入的非線性自回歸模型是乙個擴充套件，每個時刻都有乙個外部輸入x，產生乙個輸出...