線性神經網路

線性神經網路(啟用函式為y=x)

import numpy as np

import matplotlib.pyplot as plt
#輸入資料
x=np.array([[1,3,3],
[1,4,3],
[1,1,1]])
#標籤y=np.array([1,1,-1])
#權值初始化,1行3列，取值範圍-1到1
w=(np.random.random(3)-0.5)*2
print(w)
#學習率設定
lr=0.11
#計算迭代次數
n=0#神經網路輸出
o=0def update():
global x,y,w,lr,n
n+=1
#與感知器相比就改動了這一點
o=np.dot(x,w.t)
w_c=lr*((y-o.t).dot(x))/int(x.shape[0])
w=w+w_c
for _ in range(100):
update() #更新權值
print(w) #列印當前權值
print(n) #列印迭代次數
o=np.sign(np.dot(x,w.t)) #計算當前輸出
if(o==y.t).all(): #如果實際輸出等於期望輸出，模型收斂，迴圈結束
print('finished')
print('epoch:',n)
break
#正樣本
x1=[3,4]
y1=[3,3]
#負樣本
x2=[1]
y2=[1]
#計算分界線的斜率以及截距
k=-w[1]/w[2]
d=-w[0]/w[2]
print('k=',k,',d=',d)
xdata=np.linspace(0,5)
plt.plot(xdata,xdata*k+d,'r')
plt.plot(x1,y1,'bo')
plt.plot(x2,y2,'yo')
plt.show()

現在嘗試用新增非線性成分解決異或問題。

import numpy as np

import matplotlib.pyplot as plt
#輸入資料
x=np.array([[1,0,0,0,0,0],
[1,0,1,0,0,1],
[1,1,0,1,0,0],
[1,1,1,1,1,1]])
#標籤y=np.array([-1,1,1,-1])
#權值初始化,1行3列，取值範圍-1到1
w=(np.random.random(6)-0.5)*2
print(w)
#學習率設定
lr=0.11
#計算迭代次數
n=0#神經網路輸出
o=0def update():
global x,y,w,lr,n
n+=1
o=np.dot(x,w.t)
w_c=lr*((y-o.t).dot(x))/int(x.shape[0])
w=w+w_c
for _ in range(1000):
update() #更新權值
print(w) #列印當前權值
print(n) #列印迭代次數
o=np.dot(x,w.t) #計算當前輸出
#正樣本
x1=[0,1]
y1=[1,0]
#負樣本
x2=[0,1]
y2=[0,1]
def calculate(x,root):
a=w[3]
b=w[2]+x*w[4]
c=w[0]+x*w[1]+x*x*w[3]
if root == 1:
return (-b+np.sqrt(b*b-4*a*c))/(2*a)
if root == 2:
return (-b-np.sqrt(b*b-4*a*c))/(2*a)
xdata=np.linspace(-1,2)
plt.plot(xdata,calculate(xdata,1),'r')
plt.plot(xdata,calculate(xdata,2),'r')
plt.plot(x1,y1,'bo')
plt.plot(x2,y2,'yo')
plt.show()

np.dot(x,w.t)

線性神經網路 matlab神經網路

自適應線性元件20世紀50年代末由widrow和hoff提出，主要用於線性逼近乙個函式式而進行模式聯想以及訊號濾波 模型識別和控制等。線性神經網路和感知器的區別是，感知器只能輸出兩種可能的值，而線性神經網路的輸出可以取任意值。線性神經網路採用widrow hoff學習規則，即lms least me...

3 線性神經網路

由於單層感知器不能解決線性不可分的問題 在上篇文章對線性可分做了解釋 如異或問題，這時我們引入了新的結構 線性神經網路。線性神經網路與單層感知器的結構相似，只是它們的啟用函式不同，單層感知器的啟用函式只能輸出兩種可能值 1 或 1 而線性神經網路的輸出可以是任何取值，其啟用函式是線性函式 y x。l...

神經網路 之 線性單元

什麼是線性單元 有什麼用 實現 線性單元和感知器的區別就是在啟用函式 感知器的 f 是階越函式 線性單元的啟用函式是線性的 所以線性模型的公式如下 感知器存在乙個問題，就是遇到線性不可分的資料時，就可能無法收斂，所以要使用乙個可導的線性函式來替代階躍函式，即線性單元，這樣就會收斂到乙個最佳的近似上。...