這是乙個非常漂亮的三層反向傳播神經網路oxqwqyccvi的python實現，下一步我準備試著將其修改為多層bp神經網路。
下面是執行演示函式的截圖，你會發現**的結果很驚人！
提示：執行演示函式的時候，可以嘗試改變隱藏層的節點數，看節點數增加了，**的精度會否提公升
import math
import random
import string
random.seed(0)
# 生成區間[a, b)內的隨機數
def rand(a, b):
return (b-a)*random.random() + a
# 生成大小 i*j 的矩陣，預設零矩陣 (當然，亦可用 numpy 提速)
deoxqwqyccvif makematrix(i, j, fill=0.0):
m =
for i in range(i):
m.append([fill]*j)
return m
# 函式 sigmoid，這裡採用 tanh，因為看起來要比標準的 1/(1+e^-x) 漂亮些
def sigmoid(x):
return math.tanh(x)
# 函式 sigmoid 的派生函式, 為了得到輸出 (即：y)
def dsigmoid(y):
return 1.0 - y**2
class nn:
''' 三層反向傳播神經網路 '''
def __init__(self, ni, nh, no):
# 輸入層、隱藏層、輸出層的節點（數）
self.ni = ni + 1 # 增加乙個偏差節點
self.nh = nh
self.no = no
# 啟用神經網路的所有節點（向量）
self.ai = [1.0]*self.ni
self.ah = [1.0]*self.nh
self.ao = [1.0]*self.no
# 建立權重（矩陣）
self.wi = makematrix(self.ni, self.nh)
self.wo = makematrix(self.nh, self.no)
# 設為隨機值
for i in range(self.ni):
for j in range(self.nh):
self.wi[i][j] = rand(-0.2, 0.2)
for j in range(self.nh):
for k in range(self.no):
self.wo[j][k] = rand(-2.0, 2.0)
# 最後建立動量因子（矩陣）
self.ci = makematrix(self.ni, self.nh)
self.co = makematrix(self.nh, self.no)
def update(self, inputs):
if len(inputs) != self.ni-1:
raise valueerror('與輸入層節點數不符！')
# 啟用輸入層
for i in range(self.ni-1):
#self.ai[i] = sigmoid(inputs[i])
self.ai[i] = inputs[i]
# 啟用隱藏層
for j in range(self.nh):
sum = 0.0
for i in range(self.ni):
sum = sum + self.ai[i] * self.wi[i][j]
self.ah[j] = sigmoid(sum)
# 啟用輸出層
for k in range(self.no):
sum = 0.0
for j in range(self.nh):
sum = sum + self.ah[j] * self.wo[j][k]
self.ao[k] = sigmoid(sum)
return self.ao[:]
def backpropagate(self, targets, n, m):
''' 反向傳播 '''
if len(targets) != self.no:
raise valueerror('與輸出層節點數不符！')
# 計算輸出層的誤差
output_deltas = [0.0] * self.no
for k in range(self.no):
error = targets[k]-self.ao[k]
output_deltas[k] = dsigmoid(self.ao[k]) * error
# 計算隱藏層的誤差
hidden_deltas = [0.0] * self.nh
for j in range(self.nh):
error = 0.0
for k in range(self.no):
error = error + output_deltas[k]*self.wo[j][k]
hidden_deltas[j] = dsigmoid(self.ah[j]) * error
# 更新輸出層權重
for j in range(self.nh):
for k in range(self.no):
change = output_deltas[k]*self.ah[j]
self.wo[j][k] = self.wo[j][k] + n*change + m*self.co[j][k]
self.co[j][k] = change
#print(n*change, m*self.co[j][k])
# 更新輸入層權重
for i in range(self.ni):
for j in range(self.nh):
change = hidden_deltas[j]*self.ai[i]
self.wi[i][j] = self.wi[i][j] + n*change + m*self.ci[i][j]
self.ci[i][j] = change
# 計算誤差
error = 0.0
for k in range(len(targets)):
error = error + 0.5*(targets[k]-self.ao[k])**2
return error
def test(self, patterns):
for p in patterns:
print(p[0], '->', self.update(p[0]))
def weights(self):
www.cppcns.com print('輸入層權重:')
for i in range(self.ni):
print(self.wi[i])
print()
print('輸出層權重:')
for j程式設計客棧 in range(self.nh):
print(self.wo[j])
def train(self, patterns, iterations=1000, n=0.5, m=0.1):
# n: 學習速率(learning rate)
# m: 動量因子(momentum factor)
for i in range(iterations):
error = 0.0
for p in patterns:
inputs = p[0]
targets = p[1]
self.update(inputs)
error = error + self.backpropagate(targets, n, m)
if i % 100 == 0:
print('誤差 %-.5f' % error)
def demo():
# 乙個演示：教神經網路學習邏輯異或（xor）------------可以換成你自己的資料試試
pat = [
[[0,0], [0]],
[[0,1], [1]],
[[1,0], [1]],
[[1,1], [0]]
] # 建立乙個神經網路：輸入層有兩個節點、隱藏層有兩個節點、輸出層有乙個節點
n = nn(2, 2, 1)
# 用一些模式訓練它
n.train(pat)
# 測試訓練的成果（不要吃驚哦）
n.test(pat)
# 看看訓練好的權重（當然可以考慮把訓練好的權重持久化）
#n.weights()
if __name__ == '__main__':
demo()
三層神經網路python 簡單的三層神經網路
參照 python神經網路程式設計 寫乙個簡單的三層神經網路 usr bin env python coding utf 8 import numpy sigmoid 函式 import scipy.special 簡單的三層全連線網路，包括乙個輸入層，乙個隱層和乙個輸出層 損失函式用sigmoid...
三層神經網路
import numpy as np defsigmoid x,deriv false if deriv true return x 1 x x是經過啟用函式後的 return1 1 np.exp x 前向傳播的值x np.array 0,0,1 0,1,1 1,0,1 1,1,1 0,0,1 標籤...
從0實現三層神經網路
分享李沐老師關於深度學習的觀點 1 從實踐的角度入手深度學習可能比單純的研究演算法更好 2 如果想學習深度學習，要只用簡單的資料結構，譬如numpy ndarray，從0實現乙個深度學習演算法，這樣才能碰到進而解決深度學習中的許多核心問題，也可以更好的理解現在流行的框架 3 從應用的角度，那就直接上...