mcculloch （精神病學家和解剖學家）和pitts （數學家）在2023年，發表第乙個系統的ann研究——閾值加權和(m-p)數學模型。
bp（back propagation）神經網路，是指誤差的後向傳播，修正權值矩陣，達到訓練模型。
1）弱點：訓練速度非常慢、區域性極小點的逃離問題、演算法不一定收斂。
2）優點：廣泛的適應性和有效性。
神經元的網路輸入： ne
ti=x
1w1i
+x2w
2i+…
+xnw
ni神經元的輸出： o=
f(ne
t)=1
1+e−
net
其中：
對於輸出函式（啟用函式active function），有以下要求：
1） 應該將net的值盡量控制在收斂比較快的範圍內
2） 可以用其它的函式作為啟用函式，只要該函式是處處可導的
實驗表明，增加隱藏層的層數和隱藏層神經元個數不一定總能夠提高網路精度和表達能力。
bp網一般都選用二級網路。
用不同的小偽隨機數初始化w，v；
初始化精度控制引數ε；學習率α ；
迴圈控制引數e=ε+1；迴圈最大次數m；迴圈次數控制引數n=0；
while e>ε & n < m do
n=n+1；e=0；
對每乙個樣本(x,y)，執行如下操作
計算：o1=f1(xv)；o2=f2(o1w)；
計算輸出層的權修改量 for i=1
to m
∆o[i]= o2 [i]*(1- o2 [i])*(y[i]-o2 [i])；
計算輸出誤差：for i=1
to m
e=e+(y[i]-o2 [i])^2；
計算隱藏層的權修改量：for i=1
to h
z=0；
for j=1
to m do z=z+w[i,j]* ∆o[j]；
δh[i]=z* o1 [i](1- o1 [i]) ；
修改輸出層權矩陣：for k=1
to h & i=1
to m
w[k,i]= w[k,i]+ α*o1[k]*∆o[i]；
修改隱藏層權矩陣：for k=1
to n & i=1
to h
v[k,i]= v[k,i]+ α*x[k]* ∆h[i]；
end
卷積神經網路相關基本概念
輸入 rgb三個色值通道 900 600 的彩色用 900 600 3 陣列表示 卷積 基於卷積核 小矩陣 在每層畫素矩陣上按步長移動 左上到右下 掃到數與卷積核相對應位置數相乘再求和，全部掃完後得到乙個新矩陣。步長指卷積核每次移動幾個格仔，有橫向和縱向。卷積核裡面的每個值就是我們要尋找 訓練 的神...
神經網路中的基本概念
tensor 張量 的概念是 g.ricci 在19世紀末提出的.g.ricci 研究張量的目的是為幾何性質和物理規律的表達尋求一種在座標變換下不變的形式.他所考慮的張量是如同向量的分量那樣的陣列,要求它們在座標變換下服從某種線性變換的規律.近代的理論已經把張量敘述成向量空間及其對偶空間上的多重線性...
神經網路學習筆記 01 基本概念
即使百萬級的神經單元，也只相當於乙隻蠕蟲的計算能力。for the output layer forward propagation 正向傳播 在訓練過程中，通過輸入資料產生輸出資料。back propagation 反向傳播 在訓練過程中，根據計算結果和期望結果的偏差，重新調整各個神經元的權值。這...