回憶一下普通bp網路，每個節點只是簡單加上，然後乙個啟用函式。
而rbf網路，是所有的取平方和開根，徑向基函式實際上就是歐氏距離。
任意乙個滿足φ（x）=φ(‖x‖)特性的函式φ都叫做徑向基函式，標準的一般使用歐氏距離（也叫做歐式徑向基函式），儘管其他距離函式也是可以的。最常用的徑向基函式是高斯核函式 ,形式為 k(∣
∣x−x
c∣∣)
=e−∣
∣x−x
c∣∣2
/(2∗
σ)2k(||x-xc||)=e^
k(∣∣x−
xc∣∣
)=e−
∣∣x−
xc∣∣
2/(2
∗σ)2
其中x
cx_c
xc為核函式中心,σ為函式的寬度引數 , 控制了函式的徑向作用範圍。
rbf神將網路是一種三層神經網路，其包括輸入層、隱層、輸出層。從輸入空間到隱層空間的變換是非線性的，而從隱層空間到輸出層空間變換是線性的。流圖如下：
rbf網路的基本思想是：用rbf作為隱單元的「基」構成隱含層空間，這樣就可以將輸入向量直接對映到隱空間，而不需要通過權連線。當rbf的中心點確定以後，這種對映關係也就確定了。而隱含層空間到輸出空間的對映是線性的，即網路的輸出是隱單元輸出的線性加權和，此處的權即為網路可調引數。其中，隱含層的作用是把向量從低維度的p對映到高維度的h，這樣低維度線性不可分的情況到高維度就可以變得線性可分了，主要就是核函式的思想。這樣，網路由輸入到輸出的對映是非線性的，而網路輸出對可調引數而言卻又是線性的。網路的權就可由線性方程組直接解出，從而大大加快學習速度並避免區域性極小問題。
bp神經網路的隱節點採用輸入模式與權向量的內積作為啟用函式的自變數，而啟用函式採用sigmoid函式。各調引數對bp網路的輸出具有同等地位的影響，因此bp神經網路是對非線性對映的全域性逼近。
rbf神經網路的隱節點採用輸入模式與中心向量的距離（如歐式距離）作為函式的自變數，並使用徑向基函式（如gaussian函式）作為啟用函式。神經元的輸入離徑向基函式中心越遠，神經元的啟用程度就越低（高斯函式）。rbf網路的輸出與部分調引數有關，譬如，乙個wij值只影響乙個yi的輸出（參考上面第二章網路輸出），rbf神經網路因此具有「區域性對映」特性。
所謂區域性逼近是指目標函式的逼近僅僅根據查詢點附近的資料。而事實上，對於徑向基網路，通常使用的是高斯徑向基函式，函式圖象是兩邊衰減且徑向對稱的，當選取的中心與查詢點（即輸入資料）很接近的時候才對輸入有真正的對映作用，若中心與查詢點很遠的時候，歐式距離太大的情況下，輸出的結果趨於0，所以真正起作用的點還是與查詢點很近的點，所以是區域性逼近；而bp網路對目標函式的逼近跟所有資料都相關，而不僅僅來自查詢點附近的資料。
poggio和girosi已經證明，rbf網路是連續函式的最佳逼近，而bp網路不是。
svm等如果使用核函式的技巧的話，不太適應於大樣本和大的特徵數的情況，因此提出了rbf。
另外，svm中的高斯核函式可以看作與每乙個輸入點的距離，而rbf神經網路對輸入點做了乙個聚類。rbf神經網路用高斯核函式時,其資料中心c可以是訓練樣本中的抽樣，此時與svm的高斯核函式是完全等價的，也可以是訓練樣本集的多個聚類中心，所以他們都是需要選擇資料中心的，只不過svm使用高斯核函式時，這裡的資料中心都是訓練樣本本身而已。
機器學習 徑向基函式（RBF）神經網路
目錄 一 什麼是基函式 二 什麼是徑向基函式 三 為什麼rbf神經網路使用乙個徑向基函式作為隱含層的啟用函式 四 引數訓練 五 rbf網路 vs bp網路和 svm 著名的傅利葉變換是指 n個有參 權值 的正 余弦三角函式基的和式可以等價的表示任意乙個週期函式，這裡的 基 和我們數學中說的座標基或向...
機器學習 SVM（核函式 高斯核函式RBF）
1 格式 2 多項式核函式 對傳入的樣本資料點新增多項式項 新的樣本資料點進行點乘，返回點乘結果 一維特徵的樣本，兩種型別，分布如圖，線性不可分 為樣本新增乙個特徵 x2 使得樣本在二維平面內分布，此時樣本在 x 軸公升的分布位置不變 如圖，可以線性可分 3 優點 特點 一般將原始樣本變形，通常是將...
深度學習 徑向基網路（RBF）
如果對於輸入空間的某個區域性區域只有少數幾個連線權值影響輸出，則該網路稱為區域性逼近網路。常見的區域性逼近網路有rbf網路 小腦模型 cmac 網路 b樣條網路等。rbf網路能夠逼近任意的非線性函式，可以處理系統內的難以解析的規律性，具有良好的泛化能力，並有很快的學習收斂速度，已成功應用於非線性函式...