一般的神經網路是固定好拓撲結構，然後訓練權重和閾值。級聯相關神經網路是從乙個小網路開始，自動訓練和新增隱含單元，最終形成乙個多層的結構。
級聯相關神經網路具有以下優點:
後向傳播演算法執行緩慢主要有兩個原因：步長問題和目標移動問題。
為了快速學習，我們通常希望步長越大越好。然而，如果步長過大，訓練網路不能穩定地收斂到乙個較好的結果。因此，為了選擇乙個合適的步長，我們不僅需要知道誤差函式的斜率，還要了解它的曲率。相應的演算法叫quickprop algorithm。
移動目標問題主要是說，在網路的每次迭代中，每個單元都希望進化成在全域性計算中扮演重要角色的那個。實際的問題是，訓練過程很複雜，所有的單元都會同時更新。隱含單元之間缺少必要的溝通，每個單元只能看到自己的輸入和從網路輸出反饋的錯誤訊號。因此，單元需要相當長的時間才能穩定。為解決這個問題，每次迭代中，演算法可以只允許部分權重和單元改變。
演算法過程
候選神經元的訓練目標是最大化新神經元的輸出和網路訓練誤差之間的相關性 : s=
∑o|∑
p(vp
−v¯¯
¯)(e
p,o−
eo¯¯
¯¯)|
v ：候菜單元的值 eo為了最大化：單元o處觀察到的輸出殘差；
o ：網路輸出，從這裡測量誤差；
p：訓練模式(training pattern)；
s ，我們需要計算∂s
/∂wt
: ∂s∂
wi=∑
p,oσ
o(ep
,o−e
o¯¯¯
¯)f′
pii,
p
σo我們使用梯度上公升演算法來最大化：是候選項和輸出
o 之間的相關性的符號； f′
p：是模式p的候菜單元的激勵函式的對輸入的微分； ii
,p：是候菜單元從單元
i 處接收的輸入；
s。然後再訓練單層的權值。
這個演算法有什麼不足？
級聯卷積神經網路（人臉檢測）
本文介紹的人臉檢測方法，於2015cvpr a convolutional neural network cascade for face detection 本篇文章的方法可以說是對經典的viola jones方法的深度卷積網路實現，並沒有讓人眼前一亮的地方，但依然有以下幾點可以學習。下圖是該方法...
神經網路相關引數
關於建立 神經網路 段的引數說明 net feedforwardnet n,trainlm n為隱藏層大小，預設為10 trainlm 是被指定的訓練函式 levenberg marquardt 演算法t p net.trainparam.goal 0.001 goal是最小均方誤差的訓練目標 ne...
神經網路相關模型
logistic regression模型 y wtx b 記住使用的啟用函式 是sigmoid函式。損失函式 l y y y log y 1 y log 1 y 衡量 值y 與真實值y的差距，越小越好。代價函式 損失均值，j w,b 1 m mi 1l y i y i 是w和b的函式，學習的過程就...