一般的神經網路是固定好拓撲結構，然後訓練權重和閾值。級聯相關神經網路是從乙個小網路開始，自動訓練和新增隱含單元，最終形成乙個多層的結構。
級聯相關神經網路具有以下優點:
後向傳播演算法執行緩慢主要有兩個原因：步長問題和目標移動問題。
為了快速學習，我們通常希望步長越大越好。然而，如果步長過大，訓練網路不能穩定地收斂到乙個較好的結果。因此，為了選擇乙個合適的步長，我們不僅需要知道誤差函式的斜率，還要了解它的曲率。相應的演算法叫quickprop algorithm。
移動目標問題主要是說，在網路的每次迭代中，每個單元都希望進化成在全域性計算中扮演重要角色的那個。實際的問題是，訓練過程很複雜，所有的單元都會同時更新。隱含單元之間缺少必要的溝通，每個單元只能看到自己的輸入和從網路輸出反饋的錯誤訊號。因此，單元需要相當長的時間才能穩定。為解決這個問題，每次迭代中，演算法可以只允許部分權重和單元改變。
演算法過程
候選神經元的訓練目標是最大化新神經元的輸出和網路訓練誤差之間的相關性 : s=
∑o|∑
p(vp
−v¯¯
¯¯)(
ep,o
−eo¯
¯¯¯¯
¯)|s=∑o|∑p(vp−v¯)(ep,o−eo¯)|
vv為了最大化ss：候菜單元的值 eo
eo：單元o處觀察到的輸出殘差； oo
：網路輸出，從這裡測量誤差； pp
：訓練模式(training pattern)；
，我們需要計算∂s
/∂wt
∂s/∂wt: ∂
s∂wi
=∑p,
oσo(
ep,o
−eo¯
¯¯¯¯
¯)f′
pii,
p∂s∂wi=∑p,oσo(ep,o−eo¯)fp′ii,p
σo我們使用梯度上公升演算法來最大化ssσo：是候選項和輸出oo
之間的相關性的符號； f′
pf′p
：是模式p的候菜單元的激勵函式的對輸入的微分； ii
,pii,p
：是候菜單元從單元ii
處接收的輸入；
。然後再訓練單層的權值。
級聯相關神經網路
一般的神經網路是固定好拓撲結構，然後訓練權重和閾值。級聯相關神經網路是從乙個小網路開始，自動訓練和新增隱含單元，最終形成乙個多層的結構。級聯相關神經網路具有以下優點 後向傳播演算法執行緩慢主要有兩個原因 步長問題和目標移動問題。為了快速學習，我們通常希望步長越大越好。然而，如果步長過大，訓練網路不能...
級聯卷積神經網路（人臉檢測）
本文介紹的人臉檢測方法，於2015cvpr a convolutional neural network cascade for face detection 本篇文章的方法可以說是對經典的viola jones方法的深度卷積網路實現，並沒有讓人眼前一亮的地方，但依然有以下幾點可以學習。下圖是該方法...
網路相關知識
tcp ip模型分為 應用層 傳輸層 網路層 物理層。這個模型為常用模型，網路資料傳輸時在傳送端資料通過層層包裝，從應用層到物理層，最後形成的包傳送給接收端，接收端拿到原始資料報後再從物理層到應用層層層解析，最後得到傳送端傳送的真正資料。物理層主要對映的是網絡卡的mac位址。網路層主要對映的是物理i...