ufldl=unsupervised feature learning and deep learning
神經網路由神經元構成，首先看神經元的結構：
單個神經元簡單來說就是輸入數值（刺激），代入乙個啟用函式，如果達到閾值便輸出乙個對應的值。
其輸出為hw
,b=f
(wtx
)=f(
∑3i=
1wix
i+b)
其中啟用函式一般可以選為sigmoid函式或者雙曲正切tanh函式，當選用sigmoid函式時，單個神經元實際上可以看做乙個邏輯回歸
導數公式}
sigmoid的導數： f′
(z)=
f(z)
(1−f
(z))
tanh導數： f′
(z)=
1−f2
(z)
多個神經元首位相接就是神經網路，如下圖
這裡的+1是截距，叫作偏置節點，在說某一層的節點數量時，偏置節點不計數在內。
以上網路的數學形式為
其實這可以寫成矩陣的形式，利用線代的知識快速求解
可以看出一共有3∗
3+3∗
1 個權重值w
這裡還有簡單的標記形式記z
(l)i
為l層第i單元輸入加權和 那麼a
(l)i
=f(z
(l)i
) 那麼最後輸出的hw
,b就是以z(
3)為輸入的了，這裡沒寫下表i，就表示所有向量了。
以上的神經網路的輸出為單個輸出，如果輸出層為多個節點，那就就可以是多輸出了。
這樣 一層一層先前計算的就是向前神經網路
神經網路筆記
感知機模型如下圖所示 輸入層接受多個二值輸入,輸出層提供乙個二值輸出 m p神經元 用數學公式來描述就是 y 0,1 jw jxj b 0 jwjx j b 0 這裡,y 是指輸出,xi 指輸入,wi 是輸入的權重,j 是輸入管腳個數,b是指偏移.多個感知機可以構成神經網路,如下圖 m p神經元的輸...
神經網路學習筆記 01 基本概念
即使百萬級的神經單元，也只相當於乙隻蠕蟲的計算能力。for the output layer forward propagation 正向傳播 在訓練過程中，通過輸入資料產生輸出資料。back propagation 反向傳播 在訓練過程中，根據計算結果和期望結果的偏差，重新調整各個神經元的權值。這...
神經網路學習筆記 01 基本概念
即使百萬級的神經單元，也只相當於乙隻蠕蟲的計算能力。for the output layer forward propagation 正向傳播 在訓練過程中，通過輸入資料產生輸出資料。back propagation 反向傳播 在訓練過程中，根據計算結果和期望結果的偏差，重新調整各個神經元的權值。這...