神經網路之感知器準則,delta準則

2021-07-03 14:47:01 字數 1263 閱讀 9257

這篇文章主要介紹神經網路中兩個基本單元,感知器和線性單元,以及他們的訓練法則。

所謂訓練法則就是定義乙個或一組規則,通過這些規則能讓我們的到一組合適的權向量。

神經網路包括集中主要的基本單元,主要是感知器(preceptron)、線性單元(liner unit)和sigmoid單元(sigmod unit)。下面主要介紹感知器和線性單元以及他們的訓練法則。

感知器,感知器法則:

構成一種ann系統的基本單元。可以接受多個輸入,通過權向量與輸入向量相乘後累加,根據累加後結果判斷輸出是0或1.

1. 定義輸出:

2. 決策超平面方程:

3. 感知器的表徵能力:

感知器可以看做n維空間的乙個超平面,可以用這個超平面分割的稱為線性可分樣例集合。單獨的感知器可以表徵布林函式。可以表徵的布林運算有與,或,與非,或非。

從上可以看出,僅用兩層深度的神經網路就可以表示出所有的邏輯組合。

4. 訓練:

感知器訓練法則:

從隨機的權值開始到每個樣例,只要錯誤分類就修改感知器權值。

核心迭代公式為:

其中,t是訓練樣例目標輸出,o是感知器輸出(輸出為0或者1), 稱為學習速率

帶入感知器判別函式中可以直**出,

t-o與

線性單元(linear unit),delta法則:

為了解決樣例不是線性可分的問題,核心為梯度下降法來搜尋可能的權向量的假設空間。

理解為訓練乙個無閾值的感知器,也就是乙個線性單元(linear unit)。

定義輸出:

輸出o為:

對應於不帶閾值的感知器。

訓練:

對線性單元的訓練主要目的是尋求一組權向量來是定義的誤差有極小值。

定義誤差:

核心訓練法則與感知器法則一樣,仍然是:

梯度下降準則為反向傳播演算法提供了基礎。

神經網路之 感知器

在神經網路中,我們主要使用的是一種稱為s型神經元的神經元模型。感知器就是我們所謂的 人工神經元 那麼感知器怎麼工作的呢,接下來我們來談談。1.感知器工作機制 上圖中有x1,x2和x3輸入,一般情況下我們可以引入權重w1,w2和w3來表示輸入對輸出的重要性,這時可以計算w1 x1 w2 x2 w3 x...

神經網路學習之感知器

基於m p模型中權重引數需要人為設定的問題,1958年羅森布拉特 roseblatt 提出了感知器,經過訓練,計算機能夠確定神經元的連線權重,由此,神經網路迎來了第一次熱潮。感知器主要有輸入層和輸出層,其中,輸入層接收外界輸入訊號後傳遞給輸出層,輸出層是m p神經元。表示式 誤差修正學習策略 設定訓...

人工神經網路之感知器演算法

感知器作為人工神經網路中最基本的單元,有多個輸入和乙個輸出組成。雖然我們的目的是學習很多神經單元互連的網路,但是我們還是需要先對單個的神經單元進行研究。感知器演算法的主要流程 首先得到n個輸入,再將每個輸入值加權,然後判斷感知器輸入的加權和最否達到某一閥值v,若達到,則通過sign函式輸出1,否則輸...