感知機心得

2021-10-09 14:45:08 字數 1274 閱讀 8569

什麼是感知機?

感知機是一種二分類模型,輸入為相應的向量,輸出為類別,屬於判別式模型。感知機是在資料集可分的情況下,求出乙個超平面,使得此超平面可以將資料集一分為

二、正反例完全分開。

感知機模型

f(x)=sign(ω⋅x+b),此模型即為感知機模型,其中sign為符號函式,感知機模型的假設空間是定義在特徵空間中的所有線性分類器,可以解釋為,線性方程對應於特徵空間的乙個超平面s,此超平面將特徵空間分為兩部分,一部分為正類,一部分為反類。

感知機的學習策略。

首先假設資料集是線性可分得,感知機的學習目標是就是學的乙個超平面,使得此超平面將例項分為正例項和負例項,為了找出這樣的乙個超平面,需要學習乙個策略,即定義損失函式最小化,如果選擇誤分類點數則不易優化,故感知機的損失函式是基於誤分類的點數到超平面的距離,我們的目標就是損失函式最小化。

感知學習機演算法。

首先我們要明白,感知機的目標就是目標函式最小化,所以感知機學習演算法是誤分類驅動的,具體採用隨機梯度下降法,首先選擇一組初始化超平面引數wo和bo,然後使用梯度下降法最小化損失函式,直至演算法收斂為止,每次分類正確時就不在更新引數w和b,分類不正確則用梯度下降法更新引數,然後再次看分類是否正確,然後反覆迴圈直至演算法收斂。

演算法的收斂性。

由於csdn對公式的補充不太完整,所以這裡就不在推導了,下次我會手寫筆記,然後上傳。

感知學習機的對偶形式。

其實感知機學習演算法的對偶模式、原始模式和支援向量機的對偶模式及原始模式基本一樣,其基本思想都是將w和b表示為例項xi和標記yi的線性組合形式,通過求解係數而求得w和b,演算法的執行步驟如下:

定義所有x0為1,步長α初值,設定β的初值0。可以將α設定為1。要注意的是,由於感知機的解不唯一,使用的步長初值會影響θ向量的最終迭代結果。

計算所有樣本內積形成的gram矩陣g。

在訓練集裡面選擇乙個誤分類的點

,這個點應該滿足:

, 在檢查是否滿足時可以通過查詢gram矩陣的gij 的值來快速計算是否小於0。

對β向量的第i個分量進行一次更新:βi=βi+α

檢查訓練集裡是否還有誤分類的點,如果沒有,演算法結束,此時的θθ向量最終結果為下式。如果有,繼續第2步

, 其中βj 為β向量的第j個分量。

最後說一下關於感知機的解的問題,由於超平面不唯一,而且當資料集線性可分時,感知機的解釋不唯一的,因為是用的隨機梯度下降,所以初始值的不同,解也不唯一,而且迭代順序不一樣,解的值也會不一樣。

台式電腦裝機心得

配置 3739元 單位 元 cpu 速龍iix4 640 678 主機板 七彩虹戰旗c.a790gx x3d3 495 記憶體 金士頓2gb ddr3 1333 x2條 274 硬碟 希捷500gb 7200轉16m串列埠 256 顯示卡 藍寶石hd5670 512m白金版2代 539 光碟機 三星...

初識微控制器心得

近日來學習了微控制器,在此有些學習心得想記錄下來。2.關於數碼管的動態掃瞄,想讓8位數碼管每個數碼管都同時變化顯示數字,就要用到數碼管的動態掃瞄,cpu以極短的時間重複著主程式,使人眼產生視覺停留,顯示出數碼管不熄滅的效果。3.關於中斷,不論是外部中斷還是定時器中斷,都有其對應的初始化程式和中斷執行...

暴風數碼5800購機心得

5800購機心得 一直比較喜歡nokia的機器。5800這款已經出來很久,一直在觀望,比較看中wifi,在 網暴風數碼入手一部港版的藍黑色,2300大洋,配件比較多。的小2還送了幾個小禮品。開啟盒子裝的滿滿的,hoho 說說58的優點 價效比比較高。8g記憶體卡,完全夠用了呢。螢幕比較大,非常細膩,...