機器學習 徑向基函式(RBF)神經網路

2021-10-08 11:21:54 字數 1160 閱讀 2339

目錄

一、什麼是基函式

二、什麼是徑向基函式

三、為什麼rbf神經網路使用乙個徑向基函式作為隱含層的啟用函式

四、引數訓練

五、rbf網路 vs bp網路和 svm

著名的傅利葉變換是指:n個有參(權值)的正、余弦三角函式基的和式可以等價的表示任意乙個週期函式,這裡的「基」和我們數學中說的座標基或向量基含義相同,即座標空間中任意乙個向量都可以用基向量的線性和表示出來。

因此,我們引入函式空間的概念,函式空間中的每個連續函式可以表示為基函式的線性組合,就像向量空間中的每個向量可以表示為基向量的線性組合一樣。網上大多是用基函式的線性組合來「逼近」(擬合)某個函式,當用少量樣本點擬合出曲面函式時就可以用它來做**或者「插值」中間沒給出的樣本點。

以高斯徑向基函式為例,左圖中藍色點為給出的少量樣本點,下面的紅色曲線是樣本點對應的方差不同的高斯分布曲線,而右圖紅色曲線是剛好是每個高斯分布曲線前面乘以乙個不同的權重w,使得每個樣本點的值都是兩個基點的線性和,例如a=b+c。同理,藍色曲線就可以用下面的n個高斯曲線的帶權線性和來表示出來。

通俗來說就是乙個自變數為一點到原點距離的實值函式,即

f(x)就是由p個徑向基函式和其權值的線性組合構成的乙個超平面函式。

學過感知器和svm的同學都記得最後學習出來的是乙個帶權線性函式,然後再用之分類**,神經網路或深度學習用數學模型來解釋的,其最後學習出來的也是乙個多個線性函式+啟用函式多層不斷復合後的乙個複雜的非線性超平面函式。

說到這,為什麼只有三層的rbf神經網路會使用徑向基函式應該明白了吧!對於給定的乙個徑向基函式,類如高斯徑向基函式

我們只要學習出方差dj,中心點cj和隱層到輸出層的權值w,然後就可以學習出乙個由帶權高斯基函式的線性組合出的複雜函式。隱層到輸出層的功能就是用來做n個徑向基函式的帶權線性和。而第二層網路則是構造乙個由n個神經元組成的基函式空間(一些資料稱為隱空間),確定各個座標基。

徑向基函式(RBF)

radial basis function 徑向基函式 徑向基函式是乙個取值僅僅依賴於離原點距離的實值函式,也就是 x x 或者還可以是到任意一點c的距離,c點成為中心點,也就是 x,c x c 任意乙個滿足 x x 特性的函式 都叫做徑向量函式,標準的一般使用歐氏距離,儘管其他距離函式也是可以的。...

RBF徑向基函式

徑向基函式是某種沿徑向對稱的標量函式,通常定義為樣本到資料中心之間徑向距離 通常是歐氏距離 的單調函式 由於距離是徑向同性的 rbf核是一種常用的核函式。它是支援向量機分類中最為常用的核函式。常用的高斯徑向基函式形如 其中,因為rbf核函式的值隨距離減小,並介於0 極限 和1 當x x 的時候 之間...

徑向基函式 RBF

radial basis function 徑向基函式 徑向基函式是乙個取值僅僅依賴於離原點距離的實值函式,也就是 x x 或者還可以是到任意一點c的距離,c點成為中心點,也就是 x,c x c 任意乙個滿足 x x 特性的函式 都叫做徑向量函式,標準的一般使用歐氏距離,儘管其他距離函式也是可以的。...