機器學習 感知機

2021-08-19 23:33:28 字數 2217 閱讀 5298

⊆r

nx⊆rn

,輸出空間為y=。輸入x∈x

x∈x表示例項的特徵向量,對應於輸入空間的點;輸出y∈y表示示例的類別。由輸入空間到輸出空間的函式為(x

)=si

gn(w

⋅x+b

)f(x)=sign(w·x+b)⋅x

w·x表示w和x的點積i=

1mwi

xi=w

1x1+

w2x2

+...

+wnx

n∑i=1mwixi=w1x1+w2x2+...+wnxn(x

)=(其中xi∈x=rn,yi∈y=,i=1,2...n,學習速率為η)

輸出:w, b;感知機模型f(x)=sign(w·x+b)

(1) 初始化w0,b0,權值可以初始化為0或乙個很小的隨機數

(2) 在訓練資料集中選取(x_i, y_i)

(3) 如果yi(w xi+b)≤0

w = w + ηy_ix_i

b = b + ηy_i

(4) 轉至(2),直至訓練集中沒有誤分類點⋅

xw⋅x

其實是這樣子的(假設x表示的是七維):j(

t)=f

[w(t

)⋅xj

+b]=

f[w1

(t)x

j,1+

w2(t

)xj,

2+⋯+

wn(t

)xj,

n+b]

yj(t)=f[w(t)⋅xj+b]=f[w1(t)xj,1+w2(t)xj,2+⋯+wn(t)xj,n+b]1=

(3,3

)tx1=(3,3)t,x2

=(4,

3)tx2=(4,3)t

負樣本點:x1=

(1,1

)tx1=(1,1)t

求感知機模型f(x

)=si

gn(w

⋅x+b

)f(x)=sign(w⋅x+b)

,其中w=(

w(1)

,w(2

))t,

x=(x

(1),

x(2)

)tw=(w(1),w(2))t,x=(x(1),x(2))t0=

0,b0

=0w0=0,b0=0

(2) 隨機的取乙個點,如x1x1

,計算y1(

w0⋅x

1+b0

)y1(w0⋅x1+b0)

,結果為0,表示未被正確分類,根據下面的式子更新w,b

w,b(此例中,我們將學習率η

η設定為1):←w

+ηyi

xiw←w+ηyixi←b

+ηyi

b←b+ηyi1=

w0+η

y1x1

=(3,

3)tw1=w0+ηy1x1=(3,3)t1=

b0+η

y1=1

b1=b0+ηy1=11⋅

x+b1

=3x(

1)+3

x(2)

+1w1⋅x+b1=3x(1)+3x(2)+11和

x2x1和x2

兩個點,yi(

w0⋅x

i+b1

)yi(w0⋅xi+b1)

都大於0,所以是被正確分類的點,無需修改權值w和bias項;而對於x3x3

通過計算得到y3(

w0⋅x

3+b1

)<

0y3(w0⋅x3+b1)<0

,誤分了,所以修改權值:2=

w1+y

3x3=

(2,2

)tw2=w1+y3x3=(2,2)t2=

b1+y

3=0b2=b1+y3=02x

+b2=

2x(1

)+2x

(2)w2x+b2=2x(1)+2x(2)i(

w0⋅x

i+b1

)>

0yi(w0⋅xi+b1)>0

即可 

…… 

……  7=

(1,1

)t,b

7=−3

w7=(1,1)t,b7=−3(x

)=si

gn(x

(1)+

x(2)

−3)f(x)=sign(x(1)+x(2)−3)

[3] wikipedia 

機器學習 感知機

感知機是一種簡單的二類分類的線性分類模型,用於處理可以線性可分的二分類問題。感知機對應於輸入空間 特徵空間 中將例項劃分為正負兩類的分離超平面,屬於判別模型。模型。從輸入空間到輸出空間有如下函式 f x s ign wtx b 其中w 為權值,b為偏執。生成的超平面為 wt x b 0 其中w 為超...

機器學習 感知機

1 感知機是二分類的線性模型,輸入空間是例項的特徵向量,輸出是例項的類別 1,1 屬於判別模型。2 假設資料線性可分,感知機的學習目標是求得乙個能夠將訓練集資料正例和負例完全分開的分離超平面,如果訓練資料線性不可分,那麼就無法獲得這個超平面 抑或問題 針對抑或問題,解決方法是多層感知機組合。3 輸入...

機器學習 感知機perceptron

在機器學習中,感知機 perceptron 是二分類的線性分類模型,屬於監督學習演算法。輸入為例項的特徵向量,輸出為例項的類別 取 1和 1 感知機對應於輸入空間中將例項劃分為兩類的分離超平面。感知機旨在求出該超平面,為求得超平面匯入了基於誤分類的損失函式,利用梯度下降法 對損失函式進行最優化 最優...