【hopfield和bp同一時期】：bp屬於前饋式型別，但是和bp同一時期的另外乙個神經網路也很重要，那就是hopfield神經網路，他是反饋式型別。這個網路比bp出現的還早一點，
【hopfield網路的權值不是通過訓練出來的，而是按照一定規則計算出來的】：他的學習規則是基於灌輸式學習，即網路的權值不是通過訓練出來的，而是按照一定規則計算出來的， hopfield神經網路就是採用了這種學習方式，其權值一旦確定就不在改變，而網路中各神經元的狀態在執行過程中不斷更新，網路演變到穩定時各神經元的狀態便是問題之解。
【其它網路的基礎】：在這裡簡要解釋一下為什麼要學習這個神將網路，因為深度學習演算法起源**於這裡還有bp，從這裡開始後面會引入玻爾茲曼機、受限玻爾茲曼機、深度置信網路，徑向基逼向器、卷積神經網路、遞迴神經網路。(1)、離散的hopfield網路用於聯想記憶
(2)、連續的hopfield網路用於求解最優化問題**或參考：hopfield神經網路
2023年，生物物理學家j.hopfield提出了一種新穎的人工神經網路模型——hopfield網路模型，引入了能量函式的概念，是乙個非線性動力學系統。
(1) 離散的hopfield網路用於聯想記憶
(2) 連續的hopfield網路用於求解最優化問題
1.離散型hopfield神經網路
能量函式：
能量函式e按照迭代一定會下降（證明我一直卡在乙個地方，後來發現xi改變了，不僅改變了該節點的能量，而且對其它節點也有影響，故把證明貼上來，免得自己忘記）
證明：
無論x從-1變到1還是從1變到-1，能量都是下降的。
特點：結點輸出為-1或+1
用途：聯想記憶（自聯想，互聯想）
(1) 先訓練出權值w
(2) 根據輸入進行迭代，回憶出聯想的結果
2.連續型hopfield神經網路
能量函式：
其中f為signmoid函式，能量函式e按照迭代一定會下降（證明請見專門教材）
特點：結點輸出為(-1, +1)間的連續值
用途：最優化求解（如tsp問題）
(1) 把目標函式轉化為網路的能量函式
(2) 問題的變數對應於網路的狀態
(3) 當網路的能量函式收斂於極小值時，網路的狀態對應最優解
小結：
優點：成功解決了tsp問題
缺點：因為是貪心演算法，故容易陷入區域性最小值（解決方法：boltzmann機引入模擬退火，是其改進）
[1] 馬銳. [m] 人工神經網路原理. 機械工業出版社
[2]
**或參考：深度學習 --- hopfield神經網路詳解
前面幾節我們詳細**了bp神經網路，基本上很全面深入的**了bp，bp屬於前饋式型別，但是和bp同一時期的另外乙個神經網路也很重要，那就是hopfield神經網路，他是反饋式型別。這個網路比bp出現的還早一點，他的學習規則是基於灌輸式學習，即網路的權值不是通過訓練出來的，而是按照一定規則計算出來的， hopfield神經網路就是採用了這種學習方式，其權值一旦確定就不在改變，而網路中各神經元的狀態在執行過程中不斷更新，網路演變到穩定時各神經元的狀態便是問題之解。在這裡簡要解釋一下為什麼要學習這個神將網路，因為深度學習演算法起源**於這裡還有bp，從這裡開始後面會引入玻爾茲曼機、受限玻爾茲曼機、深度置信網路，徑向基逼向器、卷積神經網路、遞迴神經網路。因此從這裡一步步的深入進去是很好的開始，等到卷積你會有總體感，不會覺得太突兀。
hopfield神經網路分為離散型和連續型兩種網路模型，分別記為dhnn（discrete hopfield neural network）和chnn（continues hopfield neural network）,這裡主要討論離散型網路模型，下面預設都是離散型的。
Hopfield神經網路
import numpy as np import neurolab as nl import matplotlib.pyplot as plt 0 1 2 16 8 target np.array 0,0,0,0,0,0,0,0,0,0,0,1,1,0,0,0,0,0,1,0,0,1,0,0,0,...
hopfield神經網路
初次接觸hopfield神經網路，有一些約束沒有注意，導致生出很多愚蠢的想法。一 hopfield神經網路其實沒有層的概念，所有的神經元全連線就形成了乙個hopdield神經網路的基本結構。既然是全連線，那麼誰先誰後 誰左誰右就沒有意義了，反正都是互聯的。二 hopfield神經網路既然沒有層的概念...
Hopfield神經網路
多層神經網路 模式識別 相互連線型網路 通過聯想記憶去除資料中的雜訊 1982年提出的hopfield神經網路是最典型的相互鏈結型網路。當輸入模式為某種狀態時，輸出端要給出與之相應的輸出模式。如果輸入模式與輸出模式一致，稱為自聯想記憶，否則，稱為異聯想記憶。網路結構上，hopfield神經網路是一種...