神經網路各個網路引數設定原則

2021-08-29 23:11:14 字數 798 閱讀 6768

網路引數確定原則:

①、網路節點  網路輸入層神經元節點數就是系統的特徵因子(自變數)個數,輸出層神經元節點數就是系統目標個數。隱層節點擊按經驗選取,一般設為輸入層節點數的75%。如果輸入層有7個節點,輸出層1個節點,那麼隱含層可暫設為5個節點,即構成乙個7-5-1 bp神經網路模型。在系統訓練時,實際還要對不同的隱層節點數4、5、6個分別進行比較,最後確定出最合理的網路結構。

②、初始權值的確定  初始權值是不應完全相等的一組值。已經證明,即便確定  存在一組互不相等的使系統誤差更小的權值,如果所設wji的的初始值彼此相等,它們將在學習過程中始終保持相等。故而,在程式中,我們設計了乙個隨機發生器程式,產生一組一0.5~+0.5的隨機數,作為網路的初始權值。

③、最小訓練速率  在經典的bp演算法中,訓練速率是由經驗確定,訓練速率越大,權重變化越大,收斂越快;但訓練速率過大,會引起系統的振盪,因此,訓練速率在不導致振盪前提下,越大越好。因此,在dps中,訓練速率會自動調整,並盡可能取大一些的值,但使用者可規定乙個最小訓練速率。該值一般取0.9。

④、動態引數  動態係數的選擇也是經驗性的,一般取0.6 ~0.8。

⑤、允許誤差  一般取0.001~0.00001,當2次迭代結果的誤差小於該值時,系統結束迭代計算,給出結果。

⑥、迭代次數  一般取1000次。由於神經網路計算並不能保證在各種引數配置下迭代結果收斂,當迭代結果不收斂時,允許最大的迭代次數。

⑦、sigmoid引數 該引數調整神經元激勵函式形式,一般取0.9~1.0之間。

⑧、資料轉換。在dps系統中,允許對輸入層各個節點的資料進行轉換,提供轉換的方法有取對數、平方根轉換和資料標準化轉換。

神經網路搭建引數設定

1.如何選擇隱藏層數量和每層節點數量。多層神經網路結構主要包括三個部分,輸入層 隱藏層 輸出層。1 輸入層節點數目等於輸入特徵的數量,或者輸入向量矩陣的橫向維度。2 輸出層節點數目,如果是回歸問題,節點數目是1,如果是分類問題輸出層節點數是1 如果是用softmax多類分類器,那麼有多少個類就因該有...

神經網路引數確定原則

網路引數確定原則 網路節點 網路輸入層神經元節點數就是系統的特徵因子 自變數 個數,輸出層神經元節點數就是系統目標個數。隱層節點擊按經驗選取,一般設為輸入層節點數的75 如果輸入層有7個節點,輸出層1個節點,那麼隱含層可暫設為5個節點,即構成乙個7 5 1 bp神經網路模型。在系統訓練時,實際還要對...

神經網路設計原則

神經網路訓練完,會出現網路訓練不穩定 網路不收斂 梯度消失或 網路過擬合 不准或準確率低,可考慮以下方面 資料增強 隨機取樣 資料翻轉,隨機改變資料亮度 飽和度 對比度等 神經網路結構一般由輸入層 隱層 輸出層構成。輸入層的神經元個數是特徵維度,隱層是提取輸入特徵中隱藏的規律,輸出層的神經元個數是分...