資料探勘 第二章 神經網路基礎
§2.1 生物神經元模型
§2.2 人工神經元模型
§2.3 網路拓撲結構型別
§2.4 人工神經網路模型
§2.5 神經網路的學習
§2.1 生物神經元模型
神經元是腦組織的基本單元，是神經系統結構與功能的單元。據統計大腦大約包含1.4*1011個神經元，每個神經元於大約103*~105個其他的神經元相連線，構成乙個極為龐大而複雜的網路，即生物神經元網路。生物神經元網路中各神經元之間連線的強弱，按照外部的刺激訊號做自適應變化，而每個神經元又隨著所接受的的多個激勵訊號的綜合結果呈現出興奮與抑制狀態。大腦的學習過程就是神經元之間連線強度隨外部刺激資訊做自適應變化的過程，大腦處理星系的結果有個聖經元狀態的整體效果確定。
生物神經元基本結構：細胞體（cell body）、樹突 (dendrite) 、軸突（axon）、 突觸（synapse） 每乙個神經元都通過突觸與其他神經元聯絡，突觸的「連線強度」可隨系統受到訓練的強度而改變。
生物神經元功能：
興奮與抑制——傳入神經元的衝動經整和後使細胞膜電位公升高，超過動作電位的閾值時即為興奮狀態，產生神經衝動，由軸突經神經末梢傳出。傳入神經元的衝動經整和後使細胞膜電位降低，低於閾值時即為抑制狀態，不產生神經衝動。
學習與遺忘——由於神經元結構的可塑性，突觸的傳遞作用可增強與減弱，因此神經元具有學習和遺忘的功能。
§2.2 人工神經元模型
人工神經網路是在現代神經生物學研究基礎上提出的模擬生物過程以反應人腦某些特性的計算結構。它不是人腦神經系統的真實描寫，只是特的某種抽象、簡化和模擬。
2023年，mcculloch-pitts(麥克洛奇－皮茲) 根據生物神經元的動作原理提出了神經元模型，即m-p模型，經過不斷改進，形成目前廣泛應用的形式神經元模型，對於神經元的處理機制，該模型在簡化的基礎上提出 以下6點 假設進行描述：
1. 每個神經元都是乙個多輸入單輸出的資訊處理單元
2. 突觸分興奮性和抑制性兩種型別
3. 神經元具有空間整合特性和閾值特性
4. 神經元輸入與輸出間有固定的時滯，主要取決於突 觸的延遲
5. 忽略時間整合作用和不應期
6. 神經元本身是非時變的，即其突觸時延和突觸強度 均為常數
人工神經元輸入輸出關係可描述為
其中xj(j=1,2,…,n)是從其它神經元傳來的輸入訊號，wji表示從神經元j到神經元i的連線權值，θi為閾值，f(·)稱為激發函式或作用函式
輸出激發函式f(·)又稱為變換函式，它決定神經元(節點)的輸出。該輸出為1或0，取決於其輸入之和大於或小於內部閾值。函式一般具有非線性特徵。幾種常見的激發函式包括：閾值函式、飽和型函式、雙曲函式、s型函式、高斯型函式
§2.3 網路拓撲結構型別
以下分別是層次型結構和互聯型結構
§2.4 人工神經網路模型
人工神經網路是以工程技術手段來模擬人腦神經網路的結構與特徵的系統。利用人工神經元，可以構成各種不同拓撲結構的神經網路。就神經網路的主要連線形式而言，目前已有數十種不同的神經網路模型，其中前饋網路和反饋網路是兩種典型的結構模型。
（1）前饋神經網路，又稱前向網路。如下圖所示，神經元分層排列，有輸入層、隱層(亦稱中間層，可有若干層)和輸出層，每一層的神經元只接受前一層神經元的輸入。
目前，大部分前饋網路都是學習網路，它們的分類能力和模式識別能力一般都強於反饋網路，典型的前饋網路有感知器網路、誤差反向傳播(bp)網路等。
（2）反饋神經網路的結構如下圖所示。若總節點（神經元）數為n，則每個節點有n個輸入和乙個輸出，即所有節點都是一樣的，它們之間都可相互連線。
hopfield神經網路是反饋網路中最簡單且應用廣泛的模型，它具有聯想記憶的功能，如果將lyapunov函式定義為尋優函式，hopfield神經網路還可以用來解決快速尋優問題。
§2.5 神經網路的學習
人工神經網路最有吸引力的特點就是它的學習能力。學習方法是體現人工神經網路智慧型特徵的主要指標，離開了學習演算法，人工神經網路就失去了自適應、自組織和自學習的能力。人工神經網路的學習過程就是對它的訓練過程。所謂訓練，就是在將由樣本向量構成的樣本集合輸入到人工神經網路的過程中，按照一定方式去調整神經元之間的連線權。使網路能將樣本集的內涵以連線權矩陣的方式儲存起來，從而使網路在資料輸入時可以給出適當的輸出。
目前神經網路的學習方法有多種，按有無教師訊號來分類，可分為有教師學習、無教師學習和再勵學習等幾大類。在有教師的學習方式中，網路的輸出和期望的輸出（即教師訊號）進行比較，然後根據兩者之間的差異調整網路的權值，最終使差異變小。在無教師的學習方式中，輸入模式進入網路後，網路按照預先設定的規則（如競爭規則）自動調整權值，使網路最終具有模式分類等功能。再勵學習是介於上述兩者之間的一種學習方式。
（1）有教師學習，也稱有監督學習
假設教師和神經網路同時要對從周圍環境中抽取出來的訓練向量（即例子）做出判斷，教師可以根據自身掌握的一些知識為神經網路提供期望響應。
期望響應一般都代表著神經網路完成的最優動作。神經網路的引數可以在訓練向量和誤差訊號的綜合影響下進行調整。誤差訊號可以定義為神經網路實際響應與預期響應之差。這種調整可以逐步而又反覆地進行，其最終目的就是要讓神經網路模擬教師訊號。
（2）無教師學習
在無教師學習範例中，沒有教師監視學習過程，即神經網路沒有任何例子可以學習。
無教師學習又可分為兩類：自組織學習、無監督競爭學習
a）自組織學習：即網路的學習過程完全是一種自我學習的過程，不存在外部教師的示教，也不存在來自外部環境的反饋指示網路應該輸出什麼或者是否正確。自組織學習過程中，網路根據某種規則反覆地調整連線權以響應輸入模式的激勵，直到網路最後形成某種有序狀態。也就是說，自組織學習是靠神經元本身對輸入模式的不斷適應，抽取輸入訊號的規律(如統計規律)。一旦網路顯現出輸入資料的統計特徵，則網路就實現了對輸入特徵的編碼，即把輸入特徵「記憶」下來。而且在記憶之後，當它再出現時，能把它識別出來。自組織學習能對網路的學習過程進行度量，並優化其中的自由引數。可以認為，這種學習的評價準則隱含於網路內部。神經網路的這種自組織特性**於其結構的可塑性。
b）無監督競爭學習：在無監督競爭學習系統中，沒有外部的教師或則評價來監督學習的過程。要求網路學習該度量而且自由引數將根據這個度量來逐步優化。 為了完成無監督競爭學習規則，神經網路包括兩層：輸入層和競爭層。輸入層接受有用的資料。競爭層由相互競爭的神經元組成，採用「勝者全得」的策略，具有最大總輸入的神經元的輸出置1，贏得競爭而被啟用，其它神經元置0，連線權的調整僅在獲勝神經元與輸入之間進行，其他皆不變。
（3）再勵學習
把學習看作試探評價（獎或懲）過程，學習機選擇乙個動作（輸出）作用於環境之後，使環境的狀態改變，並產生乙個再勵訊號（獎或懲）反饋至學習機。學習機依據再勵訊號與環境當前的狀態選擇下一動作作用於環境，選擇的原則是使受到獎勵的可能性增大。
常用學習規則：hebb規則、delta規則（最小均方差規則）、概率式學習規則、競爭式學習規則、梯度下降規則、kohonen(克豪南)學習規則、逆誤差傳播規則
神經網路演算法 資料探勘
在 sql server analysis services 中，microsoft 神經網路演算法組合輸入屬性的每個可能狀態和可 屬性的每個可能狀態，並使用定型資料計算概率。之後，可以根據輸入屬性，將這些概率用於分類或回歸，並 被 屬性的結果。使用 microsoft 神經元網路演算法構造的挖掘模...
資料探勘技術 神經網路模型
神經網路模型 一 神經網路原理 對網路模型的研究始於20世紀40年代，作為一門交叉學科，它是人類基於對其大腦神經認識的基礎上，人工構造實現某種功能的網路模型。經過將近70年的發展，神經網路模型已成為機器學習的典型代表，它不依照任何概率分布，而是模仿人腦功能進行抽象運算。神經網路 neutral ne...
神經網路基礎
上面是前14個筆記的乙個示意圖，簡單了點，但是內容架構應該是有的，先容我再道一道，梳理下 首先整體的第一周的課程是神經 網路 對，通向神經網路的基礎的網路，其中講解了內容模組包括 二分類問題簡單來說就是1和0的問題，也就是著名的cat 和 noncat問題，這個處理是靠輸入，然後計算機整合處理矩陣輸...