其中引用了大量其他人的東西……數量太多就不一一枚舉了
二、梯度消失總結
以下是正文內容
（1）沒有啟用函式相當於矩陣相乘，只能擬合線性函式
（2）常見啟用函式
這裡著重介紹一下s性函式，其被用於早期神經網路上，缺點是容易飽和，輸出不對稱。
後來的雙極s性函式一定程度上彌補了這個缺陷
首個可以自動學習的神經網路
萬有逼近定理：如果乙個隱層包含足夠多的神經元，那麼三層前饋神經網路（輸入——隱層——輸出）能以任意精度逼近任意的連續函式
在此基礎上雙隱層感知器可以逼近非連續函式
每一層的作用：輸入——空間的轉換
增加層數：增加非線性轉換次數
增加節點數：增加線性轉換能力
對於非線性多元函式來說
2.誤差傳播
這個誤差傳播消失可以拿s函式試一下，在兩側很容易求匯出乙個很小的數。
逐層預訓練：可以使資料落在較好的區域性極小值，且可以解決梯度消失問題
其實有了relu函式以後這個問題得到了較好的解決，這裡講一下早期的rbm和自編碼器
自編碼器：假設輸入和輸出相同，無額外監督資訊，中間隱層就代表輸入特徵，可以繼續向下傳遞
rbm：模型結構為兩層網路，不同層之間連成乙個二分圖。
輸入v得到隱層h，輸入h得到v『。希望輸入h得到的v『有原來v的特種證，因此隱層可作為可見層的特徵表述。兩個方向的權重w是共享的。
具體建模方式大致如下，利用了物理學中的能量和概率的乙個聯絡，不多贅述，因為也用不大到了。
無
深度學習筆記
在深度神經網路中，通常使用一種叫修正線性單元 rectified linear unit，relu 作為神經元的啟用函式。relu函式其實是分段線性函式，把所有的負值都變為0，而正值不變，這種操作被成為單側抑制。可別小看這個簡單的操作，正因為有了這單側抑制，才使得神經網路中的神經元也具有了稀疏啟用性...
深度學習筆記
如果沒有啟用函式，或則是線性啟用函式，g z z,那麼在深度神經網路中，相當於都做的是線性變換，多個線性變換的組合還是線性變換。這樣的結果和邏輯回歸沒什麼區別，也就是說，這種情況下，無論神經網路的深度有多深，也就等價於乙個一層的網路，隱藏層沒什麼作用。因此需要非線性啟用函式。1.什麼時候插入，ski...
深度學習筆記
tensorflow 不僅是乙個實現機器學習演算法的介面，也是一種框架，也可用於線性回歸 邏輯回歸 隨機森林等演算法 tensorflow 使用資料流圖來規劃計算流程，每個運算操作作為乙個節點 node，節點之間的連線稱為邊，邊中流動的資料稱為張量，故而得名 tensorflow，預算操作可以有自己...