神經網路基礎知識（神經網路簡介）

一、生物神經網路

神經元的排列和突觸的強度(由複雜的化學過程決定)確立了神經網路的功能。

突觸有兩種型別，興奮性突觸和抑制性突觸。前者產生正突觸後電位，後者產生負突觸後電位。抑制性—神經元雖然接收到其他神經元傳遞的資訊，但沒有向外傳遞資訊，該神經元稱「抑制性」的；興奮性—當乙個神經元的樹突接收的興奮資訊累計超過閾值，該神經元被啟用並傳遞出資訊給其他神經元。

生物神經系統的六個基本特徵：

1）神經元及其聯接；

2）神經元之間的聯接強度（權值）決定訊號傳遞的強弱；

3）神經元之間的聯接強度是可以隨訓練改變的；

4）訊號可以是起刺激作用的，也可以是起抑制作用的；

5）乙個神經元接受的訊號的累積效果決定該神經元的狀態；

6) 每個神經元可以有乙個「閾值」。

二、人工神經網路

單輸入神經元

概念：輸入、權值、偏置（域值）、淨輸入、作用函式（傳輸函式、激發函式）。

乙個規範的單輸入神經元如圖2-1 所示。

權值w：突觸的連線強度（可以理解為由前乙個神經元的軸突（輸出）傳遞當前神經元的概率）；

淨輸入n：通常稱為累加器的輸出；

作用函式f：輸入和輸出之間的函式關係（在神經網路中，隱層和輸出層節點的輸入和輸出之間具有函式關係）

權值 w和閾值b是神經元的可調整標量引數。設計者也可選擇特定的傳輸函式，在一些學習規則中調整引數w和b，以滿足特定的需要。

激勵函式（傳輸函式）

多輸入神經元

該神經元有乙個偏置值b，它與所有輸入的加權和累加，從而形成淨輸入n ：

寫成矩陣形式：

其中，w為權值矩陣。

神經元的輸出可以寫成：

例如，w12 的含義是：該權值表示從第二個源神經元到第乙個目標神經元的連線。

神經網路的層

上圖由s個神經元組成的單層網路。

輸入向量通過如下權矩陣w進入網路：

同樣，具有s個神經元、r 個輸入的單層網路能用簡化的符號表示為：

多層神經網路

第一層的值矩陣可以寫為

如某層的輸出是網路的輸出，則稱該層為輸出層，而其他層叫隱含層。

決定乙個網路的神經元個數非常重要。網路的輸入/輸出神經元的數量是由問題描述定義的。如果有4 個外部變數作為網路輸入，那麼網路就有4 個外部變數作為網路輸入，那麼網路就有4個輸入。同樣，如果網路有7個輸出，那麼網路的輸出層就應該有7 個神經元。

那麼，如果網路有兩層以上的神經元時，又將如何確定各層的神經元數目？其實問題的關鍵在於外部問題並沒有直接指明隱含層需要的神經元數目。

實際上，精確**隱含層所需要的神經元的數目至今仍然存在一些在理論上還沒有解決的問題。這個問題是乙個十分活躍的研究領域。

大多數實際的神經網路僅僅只有2到3層神經元，很少有4層或更多層。