RBF神經網路與BP網路優缺點比較

2021-08-21 14:14:43 字數 3196 閱讀 3392

rbf神經網路與bp神經網路優缺點比較

1.      rbf 的泛化能力在多個方面都優於bp 網路, 但是在解決具有相同精度要求的問題時, bp 網路的結構要比rbf 網路簡單。

2.      rbf 網路的逼近精度要明顯高於bp 網路,它幾乎能實現完全逼近, 而且設計起來極其方便, 網路可以自動增加神經元直到滿足精度要求為止。但是在訓練樣本增多時, rbf 網路的隱層神經元數遠遠高於前者, 使得rbf 網路的複雜度大增加, 結構過於龐大, 從而運算量也有所增加。

3.      rbf神經網路是一種效能優良的前饋型神經網路,rbf網路可以任意精度逼近任意的非線性函式,且具有全域性逼近能力,從根本上解決了bp網路的區域性最優問題,而且拓撲結構緊湊,結構引數可實現分離學習,收斂速度快。

4.      他們的結構是完全不一樣的。bp是通過不斷的調整神經元的權值來逼近最小誤差的。其方法一般是梯度下降。rbf是一種前饋型的神經網路,也就是說他不是通過不停的調整權值來逼近最小誤差的,的激勵函式是一般是高斯函式和bp的s型函式不一樣,高斯函式是通過對輸入與函式中心點的距離來算權重的。

5.      bp神經網路學習速率是固定的,因此網路的收斂速度慢,需要較長的訓練時間。對於一些複雜問題,bp演算法需要的訓練時間可能非常長,這主要是由於學習速率太小造成的。而rbf神經網路是種高效的前饋式網路,它具有其他前向網路所不具有的最佳逼近效能和全域性最優特性,並且結構簡單,訓練速度快。

6.  bp網路用於函式逼近時,權值的調節採用的是負梯度下降法,這種調節權值 的方法有它的侷限性,既存在著收斂速度慢和區域性極小等缺點。而徑向基神經網路在逼近能力、分類能力和學習速度等方面均優於bo網路。從理論上,rbf網路和bp網路一樣可近似任何的連續非線形函式,兩者的主要差別在於各使用不同的作用函式,bp網路中的隱層節點使用的是sigmoid函式,其函式值在輸入空間中無限大的範圍內為非零值,而rbf網路的作用函式則是區域性的。

7.  rbf神經網路與bp神經網路的比較

rbf神經網路與bp神經網路都是非線性多層前向網路,它們都是通用逼近器。對於任乙個bp神經網路,總存在乙個rbf神經網路可以代替它,反之亦然。但是這兩個網路也存在著很多不同點,這裡從網路結構、訓練演算法、網路資源的利用及逼近效能等方面對rbf神經網路和bp神經網路進行比較研究。

8.兩者結構不同,bp是通過不斷的調整神經元的權值來逼近最小誤差的,其方法一般是梯度下降法。

rbf是一種前饋型的神經網路,也就是說他不是通過不停的調整權值來逼近最小誤差的,其激勵函式是一般是高斯函式和bp的s型函式不一樣,高斯函式是通過對輸入與函式中心點的距離來算權重的。

(1)從網路結構上看。 

bp神經網路實行權連線,而rbf神經網路輸入層到隱層單元之間為直接連線,隱層到輸出層實行權連線。bp神經網路隱層單元的轉移函式一般選擇非線性函式(如反正切函式),rbf神經網路隱層單元的轉移函式是關於中心對稱的rbf(如高斯函式)。bp神經網路是三層或三層以上的靜態前饋神經網路,其隱層和隱層節點數不容易確定,沒有普遍適用的規律可循,一旦網路的結構確定下來,在訓練階段網路結構將不再變化;rbf神經網路是三層靜態前饋神經網路,隱層單元數也就是網路的結構可以根據研究的具體問題,在訓練階段自適應地調整,這樣網路的適用性就更好了。

(2)從訓練演算法上看。

(3)從網路資源的利用上看。

rbf神經網路原理、結構和學習演算法的特殊性決定了其隱層單元的分配可以根據訓練樣本的容量、類別和分布來決定。如採用最近鄰聚類方式訓練網路,網路隱層單元的分配就僅與訓練樣本的分布及隱層單元的寬度有關,與執行的任務無關。在隱層單元分配的基礎上,輸入與輸出之間的對映關係,通過調整隱層單元和輸出單元之間的權值來實現,這樣,不同的任務之間的影響就比較小,網路的資源就可以得到充分的利用。這一點和bp神經網路完全不同,bp神經網路權值和閾值的確定由每個任務(輸出節點)均方差的總和直接決定,這樣,訓練的網路只能是不同任務的折中,對於某個任務來說,就無法達到最佳的效果。而rbf神經網路則可以使每個任務之間的影響降到較低的水平,從而每個任務都能達到較好的效果,這種並行的多工系統會使rbf神經網路的應用越來越廣泛。

總之,rbf神經網路可以根據具體問題確定相應的網路拓撲結構,具有自學習、自組織、自適應功能,它對非線性連續函式具有一致逼近性,學習速度快,可以進行大範圍的資料融合,可以並行高速地處理資料。rbf神經網路的優良特性使得其顯示出比bp神經網路更強的生命力,正在越來越多的領域內替代bp神經網路。目前,rbf神經網路已經成功地用於非線性函式逼近、時間序列分析、資料分類、模式識別、資訊處理、影象處理、系統建模、控制和故障診斷等。

rbf網路的優點:

①  它具有唯一最佳逼近的特性,且無區域性極小問題存在。

②  rbf神經網路具有較強的輸入和輸出對映功能,並且理論證明在前向網路中rbf網路是完成對映功能的最優網路。

③  網路連線權值與輸出呈線性關係。

④  分類能力好。

⑤  學習過程收斂速度快。

rbf神經網路除了具有一般神經網路的優點,如多維非線性對映能力,泛化能力,並行資訊處理能力等,還具有很強的聚類分析能力,學習演算法簡單方便等優點;徑向基函式(rbf) 神經網路是一種效能良好的前向網路,利用在多維空間中插值的傳統技術, 可以對幾乎所有的系統進行辯識和建模,它不僅在理論上有著任意逼近效能和最佳逼近效能, 而且在應用中具有很多優勢。例如和sigmo id 函式作為啟用函式的神經網路相比, 演算法速度大大高於一般的bp 演算法。

rbf 神經網路同bp 網路相比, 不但在理論上它是前向網路中最優的網路, 而且學習方法也避免了區域性最優的問題。已經證明:乙個rbf網路,在隱層節點足夠多的情況下,經過充分學習,可以用任意精度逼近任意非線性函式,而且具有最優泛函式逼近能力,另外,它具有較快的收斂速度和強大的抗噪和修復能力。

在理論上,rbf網路和bp網路一樣能以任意精度逼近任何非線性函式。但由於它們使用的激勵函式不同,其逼近效能也不相同。poggio和girosi已經證明,rbf網路是連續函式的最佳逼近,而bp網路不是。bp網路使用的sigmoid函式具有全域性特性,它在輸入值的很大範圍內每個節點都對輸出值產生影響,並且激勵函式在輸入值的很大範圍內相互重疊,因而相互影響,因此bp網路訓練過程很長。此外,由於bp演算法的固有特性,bp網路容易陷入區域性極小的問題不可能從根本上避免,並且bp網路隱層節點數目的確定依賴於經驗和試湊,很難得到最優網路。採用區域性激勵函式的rbf網路在很大程度上克服了上述缺點,rbf不僅有良好的泛化能力,而且對於每個輸入值,只有很少幾個節點具有非零激勵值,因此只需很少部分節點及權值改變。學習速度可以比通常的bp演算法提高上千倍,容易適應新資料,其隱層節點的數目也在訓練過程中確定,並且其收斂性也較bp網路易於保證,因此可以得到最優解。

BP與RBF神經網路比較

都是前饋型神經網路 只要包含足夠多隱層神經元,就能以任意精度逼近任意複雜度的連續函式。bp是通過不斷的調整神經元的權值來逼近最小誤差的,其方法一般是梯度下降。而rbf是通過對輸入與函式中心點的距離來算權重的,所以第一步就要確定神經元的中心 常用方法有隨機取樣 聚類等 bp的啟用函式是sigmoid函...

rbf神經網路 RBF神經網路以及Python實現

rbf網路能夠逼近任意非線性的函式。可以處理系統內難以解析的規律性,具有很好的泛化能力,並且具有較快的學 習速度。當網路的乙個或多個可調引數 權值或閾值 對任何乙個輸出都有影響時,這樣的網路稱為全域性逼近網路。由於對於每次輸入,網路上的每乙個權值都要調整,從而導致全域性逼近網路的學習速度很慢,比如b...

RBF神經網路

核函式一般有如下函式 高斯函式 u e u2 2 反射sigmoid函式 u 1 1 eu 2 2 逆多二次函式 u 1 u2 2 1 2 其中,0 為基函式的拓展常數或寬度。rbf 徑向基函式神經網路 網路結構圖如下 對於輸入x x1,x2,xn t c1 c2,cm 為樣本中心,w w1,w2,...