神經網路學習筆記(六) 廣義回歸神經網路

2021-07-23 06:49:50 字數 1547 閱讀 5329

可以看出,這個結構與之前我們所講過的徑向基神經網路非常相似,區別就在於多了一層加和層,而去掉了隱含層與輸出層的權值連線。

1.輸入層為向量,維度為m,樣本個數為n,線性函式為傳輸函式。

2.隱藏層與輸入層全連線,層內無連線,隱藏層神經元個數與樣本個數相等,也就是n,傳輸函式為徑向基函式。

3.加和層中有兩個節點,第乙個節點為每個隱含層節點的輸出和,第二個節點為預期的結果與每個隱含層節點的加權和。

4.輸出層輸出是第二個節點除以第乙個節點。

廣義回歸神經網路對x的回歸定義不同於徑向基函式的對高斯權值的最小二乘法疊加,他是利用密度函式來**輸出。

假定x,y為兩個隨機變數,聯合概率密度為f(x,y)

我們就得到以下公式: (x0)=f(y*f(x0,y))/f(f(x0,y)). f代表積分。

(x0)就是y在x0條件下在**輸出。 x0是的觀測值。

現在未知數就是f(x,y)。

怎樣估計已知數值而未知分布的密度函式呢?這裡我們使用parzen非引數估計方法。

視窗函式選擇為高斯視窗。

得到下式 y(x0)=f(y*exp(-d))/f(exp(-d))。

d代表的就是離中心的距離,exp(-d)就是徑向基函式隱含層的輸出。

首先我們還是和徑向基函式神經網路一樣,設定一組資料。

p=-9:1:8;

x=-9:.2:8;

t=[129,-32,-118,-138,-125,-97,-55,-23,-4,2,1,-31,-72,-121,-142,-174,-155,-77];

p,t分別代表輸入輸出,x為測試樣本,與徑向基函式神經網路不同的是,這些資料需要在建立時一起輸入,而不需要類似徑向基那樣的權值訓練,grnn並不存在權值,所以網路不能儲存,用的時候直接擬合即可。

而正因為grnn沒有權值這一說,所以不用訓練的優勢就體現在他的速度真的很快。而且曲線擬合的非常自然。樣本精準度不如徑向基精準,但在實際測試中表現甚至已經超越了bp。

接下來就是隱含層的處理,不同於rbf的是,隱含層沒有了恒為1的向量輸出新增。

spread=1;

chdis=dist(x',p);

chgdis=exp(-chdis.^2/spread);

chgdis=chgdis';

最後是加和層與輸出層,這裡我們把式子寫在一起。

雖然grnn看起來沒有徑向基精準,但實際在分類和擬合上,特別是資料精準度比較差的時候有著很大的優勢。

GRNN廣義回歸神經網路

廣義回歸神經網路 grnn 廣義回歸神經網路是徑向基神經網路的一種,grnn具有很強的非線性對映能力和學習速度,比rbf具有更強的優勢,網路最後普收斂於樣本量集聚較多的優化回歸,樣本資料少時,效果很好,還可以處理不穩定資料。雖然grnn看起來沒有徑向基精準,但實際在分類和擬合上,特別是資料精準度比較...

混沌神經網路學習筆記六

任何乙個神經網路都包含三個重要構件 神經元模型 學習演算法和網路拓撲結構。為了降低神經元之間連線的複雜性,嘗試將adachi神經網路由完全耦合結構改為線性結構。一棵具有n個節點的樹僅有n 1條邊。修改後的網路拓撲結構變成 任意兩個神經元之間能通過生成樹聯絡起來,連線所有神經元的總邊數是n 1。改變了...

神經網路學習筆記

隱含層數越多,越容易擬合複雜函式 為了擬合複雜函式需要的隱含節點數目,基本上隨著隱含層數目的增加呈現指數下降的趨勢,也就是說層數越多,神經網路所需要的隱含節點可以越少。層數越深,概念越抽象,需要背誦的知識點 神經網路的隱含節點 就越少。但是,層數越多,容易出現過擬合以及引數難以除錯以及梯度瀰散的問題...