神經網路搭建引數設定

2021-08-04 05:35:46 字數 837 閱讀 3701

1.如何選擇隱藏層數量和每層節點數量。

多層神經網路結構主要包括三個部分,輸入層-隱藏層--輸出層。

(1)輸入層節點數目等於輸入特徵的數量,或者輸入向量矩陣的橫向維度。

(2)輸出層節點數目,如果是回歸問題,節點數目是1,如果是分類問題輸出層節點數是1(如果是用softmax多類分類器,那麼有多少個類就因該有多少個節點)

(3)隱藏層

如果你的資料是線性可分的(你通常需要先知道這個問題),你根本不需要隱藏層。但是話說回來,如果資料線線性可分,你為什麼還要用神經網路呢?但是,當然,它也能很好的處理這個問題。

1.在大多數任務中,採用下面的策略進行隱藏層設定通常可以取得很好的表現:(i)隱藏層數量設為1層, (ii)這一層節點的數目為輸入層節點數目和輸出層節點數目和的平均。

2.還有乙個方法來求隱層節點數目, 根據maters(1993)提出的幾何金字塔規則(the geometric pyramid rule):對乙個三層神經網路(輸入層n節點,乙個隱藏層,輸出層m節點),隱藏層節點個數等於sqrt(m*n)

3.輸入層節點數n,輸出層節點數m,隱層設定為1層,隱藏層節點數目等於:2/3*n+m

4.三層神經元,乙個隱層,隱層節點數小於輸入層節點數的一半。

5.這裡有乙個公式來計算隱層數量,需要考慮訓練資料的數量:ns/(α*(ni+no)),其中ns:訓練資料的樣本數量,ni:輸入層節點數,no:輸出層節點數,α:乙個隨機數,範圍通常是2-10. 這個α值可以看作,你想要你的模型有多麼general,或者你多想讓你的模型防止過擬合。你可以讓α從2開始嘗試。

神經網路各個網路引數設定原則

網路引數確定原則 網路節點 網路輸入層神經元節點數就是系統的特徵因子 自變數 個數,輸出層神經元節點數就是系統目標個數。隱層節點擊按經驗選取,一般設為輸入層節點數的75 如果輸入層有7個節點,輸出層1個節點,那麼隱含層可暫設為5個節點,即構成乙個7 5 1 bp神經網路模型。在系統訓練時,實際還要對...

搭建神經網路

1.import 2.train,test 3.model tf.keras.model.sequential 在sequential中描述網路結構,相當於走一遍前向傳播 4.model.compile 在compile中配置訓練方法,選擇哪個優化器,選擇什麼損失函式,選擇什麼評價指標 5.mode...

神經網路體系搭建(一) 神經網路

本篇是神經網路體系搭建的第一篇,解決體系搭建的前四個問題,詳見神經網路體系搭建 序 神經網路的定義就不再贅述,直接從最簡單的神經網路說起。將一系列輸入資料,通過訓練好的網路模型處理,得到輸出結果,這是神經網路決策的步驟。那麼我們的重點就是通過訓練得到網路模型。從上圖可以看出,模型的關鍵其實是尋找合適...