深度學習 徑向基網路(RBF)

2021-08-01 01:44:59 字數 1841 閱讀 7448

如果對於輸入空間的某個區域性區域只有少數幾個連線權值影響輸出,則該網路稱為區域性逼近網路。常見的區域性逼近網路有rbf網路、小腦模型(cmac)網路、b樣條網路等。

rbf網路能夠逼近任意的非線性函式,可以處理系統內的難以解析的規律性,具有良好的泛化能力,並有很快的學習收斂速度,已成功應用於非線性函式逼近、時間序列分析、資料分類、模式識別、資訊處理、影象處理、系統建模、控制和故障診斷等。

為什麼rbf網路學習收斂得比較快?當網路的乙個或多個可調引數(權值或閾值)對任何乙個輸出都有影響時,這樣的網路稱為全域性逼近網路。由於對於每次輸入,網路上的每乙個權值都要調整,從而導致全域性逼近網路的學習速度很慢。bp網路就是乙個典型的例子。

第一層輸入層:由訊號源節點構成,僅起到資料資訊的傳遞作用,對輸入資訊不做任何變換。

第二層隱含層:節點數視需要而定。隱含層神經元核函式(作用函式)是高斯函式,對輸入資訊進行空間對映的變換。

第三層輸出層,對輸入模式做出響應。輸出層神經元的作用函式為線性函式,對隱含層神經元輸出的資訊進行線性加權後輸出,作為整個神經網路的輸出結果。

徑向基網路傳遞函式是以輸入向量與閾值向量之間的距離|| x-cj ||作為自變數的。其中|| x-cj ||是通過輸入向量和加權矩陣c的行向量的乘積得到的。此處的c就是隱藏層各神經元的中心引數,大小為隱層神經元數目*可見層單元數。再者,每乙個隱神經元中心引數c都對應乙個寬度向量d,使得不同的輸入資訊能被不同的隱層神經元最大程度地反映出來。隨著權值和輸入向量之間距離的減少,網路輸出是遞增的,當輸入向量和權值向量一致時,神經元輸出為1。圖中的b為閾值,用於調整神經元的靈敏度。

徑向基神經網路傳遞引數可以取多種形式。常見的有:

①gaussian函式(高斯函式)

②reflected sigmoidal函式(反常s型函式)

③逆multiquadric函式(逆畸變校正函式)

對於rbf神經網路的學習演算法,關鍵問題是隱藏層神經元中心引數的合理確定。常用的方法是從中心引數(或者其初始值)是從給定的訓練樣本集裡按照某種方法直接選取,或者是採用聚類的方法確定。

①直接計算法(隨機選取rbf中心)

隱含層神經元的中心是隨機地在輸入樣本中選取,且中心固定。一旦中心固定下來,隱含層神經元的輸出便是已知的,這樣的神經網路的連線權就可以通過求解線性方程組來確定。適用於樣本資料的分布具有明顯代表性。

②自組織學習選取rbf中心法

rbf神經網路的中心可以變化,並通過自組織學習確定其位置。輸出層的線性權重則是通過有監督的學習來確定的。這種方法是對神經網路資源的再分配,通過 學習,使rbf的隱含層神經元中心位於輸入空間重要的區域。這種方法主要採用k-均值聚類法來選擇rbf的中心,屬於無監督(導師)的學習方法。

③有監督(導師)學習選取rbf中心

通過訓練樣本集來獲得滿足監督要求的網路中心和其他權重引數。常用方法是梯度下降法。

④正交最小二乘法選取rbf中心法

正交最小二乘法(orthogoal least square)法的思想**於線性回歸模型。神經網路的輸出實際上是隱含層神經元某種響應引數(回歸因子)和隱含層至輸出層間連線權重的線性組合。所有隱含層神經元上的回歸因子構成回歸向量。學習過程主要是回歸向量正交化的過程。

在很多實際問題中,rbf神經網路隱含層神經元的中心並非是訓練集中的某些樣本點或樣本的聚類中心,需要通過學習的方法獲得,使所得到的中心能夠更好地反應訓練集資料所包含的資訊。

[人工神經網路——徑向基函式(rbf)神經網路

][徑向基函式(rbf)神經網路]

from:

ref:

徑向基函式(RBF)

radial basis function 徑向基函式 徑向基函式是乙個取值僅僅依賴於離原點距離的實值函式,也就是 x x 或者還可以是到任意一點c的距離,c點成為中心點,也就是 x,c x c 任意乙個滿足 x x 特性的函式 都叫做徑向量函式,標準的一般使用歐氏距離,儘管其他距離函式也是可以的。...

RBF徑向基函式

徑向基函式是某種沿徑向對稱的標量函式,通常定義為樣本到資料中心之間徑向距離 通常是歐氏距離 的單調函式 由於距離是徑向同性的 rbf核是一種常用的核函式。它是支援向量機分類中最為常用的核函式。常用的高斯徑向基函式形如 其中,因為rbf核函式的值隨距離減小,並介於0 極限 和1 當x x 的時候 之間...

徑向基函式 RBF

radial basis function 徑向基函式 徑向基函式是乙個取值僅僅依賴於離原點距離的實值函式,也就是 x x 或者還可以是到任意一點c的距離,c點成為中心點,也就是 x,c x c 任意乙個滿足 x x 特性的函式 都叫做徑向量函式,標準的一般使用歐氏距離,儘管其他距離函式也是可以的。...