機器學習 SVM(核函式 高斯核函式RBF)

2022-03-22 01:03:09 字數 2738 閱讀 5043

1)格式

2)多項式核函式

對傳入的樣本資料點新增多項式項;

新的樣本資料點進行點乘,返回點乘結果;

一維特徵的樣本,兩種型別,分布如圖,線性不可分:

為樣本新增乙個特徵:x2 ,使得樣本在二維平面內分布,此時樣本在 x 軸公升的分布位置不變;如圖,可以線性可分:

3)優點 / 特點

一般將原始樣本變形,通常是將低維的樣本資料變為高維資料,儲存高維資料花費較多的儲存空間;使用核函式,不用考慮原來樣本改變後的樣子,也不用儲存變化後的結果,只需要直接使用變化的結果進行運算並返回運算結果即可;

4)svm 中的核函式

svc(kernel = 'ploy'):表示演算法使用多項式核函式;

svc(kernel = 'rbf'):表示演算法使用高斯核函式;

5)多項式核函式

x(i)新增多項式特徵後:x'(i)

x(j)新增多項式特徵後:x'(j)

x(i) . x(j)

轉化為:x'(i).x'(j)

;1)思想

應該是試驗反饋,將樣本的特徵資料按一定規律統一改變後,同類樣本更好的凝聚在了一起;

2)定義方式

x、y:樣本或向量;

γ:超引數;高斯核函式唯一的超引數;

|| x - y ||:表示向量的範數,可以理解為向量的模;

表示兩個向量之間的關係,結果為乙個具體值;

高斯核函式的定義公式就是進行點乘的計算公式;

3)功能

4)特點

自然語言處理:通常會構建非常高維的特徵空間,但有時候樣本數量並不多;

5)高斯函式

6)其它

無窮維:將 m*n 的資料集,對映為 m*m 的資料集,m 表示樣本個數,n 表示原始樣本特徵種類,樣本個數是無窮的,因此,得到的新的資料集的樣本也是無窮維的;

高斯核公升維的本質,使得線性不可分的資料線性可分;

1)轉化原理

x:需要改變維度的樣本;

np.array([l1, l2, ..., lm])== x == np.array([x1, x2, ... , xm])landmark,地標,一般直接選取資料集 x 的所有樣本作為地標;(共 m 個)

對於 (m, n) 的資料集:轉化為 (m, m)  的資料集;將 n 維的樣本轉化為 m 維的樣本;

對於原始資料集中的每乙個樣本 x,也可以有幾個地標點,就將 x 轉化為幾維;

2)主要為兩部分

維度轉化:樣本x1轉化x1

':(e-γ||x1 - x1||**2, e-γ||x1 - x2||**2, e-γ||x1 - x3||**2, ..., e-γ||x1 - xm||**2),同理樣本x2的轉化x2';(地標點就是資料集 x 的樣本點)

點乘計算:x1

' . x2

' == k(x1, x2) == e-γ||x1 - x2||**2

,最終結果為乙個具體值

3)例項模擬維度轉化過程1)模擬資料集

2)經過高斯核,得到新的資料集

for i, data in enumerate(x):i 存放向量 x 的 index,data 存放向量 x 的 index 對應的元素值;

def

gaussian(x, l):

#此處直接將超引數 γ 設定為 1.0;

#此處 x 表示一維的樣本,也就是乙個具體的值,l 相應的也是乙個具體的數,因為 l 和 x 一樣,從特徵空間中選定;

gamma = 1.0

#此處因為 x 和 l 都只是乙個數,不需要再計算模,可以直接平方;

return np.exp(-gamma * (x-l)**2)

#設定地標 l1、l2 為 -1和1

python高斯核函式運用 高斯核函式

在計算機視覺中,有時也簡稱為高斯函式。高斯函式具有五個重要的性質,這些性質使得它在早期影象處理中特別有用.這些性質表明,高斯平滑濾波器無論在空間域還是在頻率域都是十分有效的低通濾波器,且在實際影象處理中得到了工程人員的有效使用.高斯函式具有五個十分重要的性質,它們是 1 二維高斯函式具有旋轉對稱性,...

高斯核函式

參考鏈結 高斯卷積運算元 def getgausskernel sigma,h,w 構建高斯矩陣,得到中心點位置 gaussmatrix np.zeros h,w np.float32 ch h 1 2 cw w 1 2 for r in range h for c in range w norm2...

高斯核函式

1.二維高斯函式形式 a是幅值,xo,y0 為中心點座標,x y是方差,圖示如下,a 1,x0,y0 0,0 x y 1 2.高斯函式分析 在實際程式設計應用中,高斯函式的引數包括 ksize 高斯函式的大小 sigma 高斯函式的方差 center 高斯函式尖峰中心點的座標 bias 高斯函式尖峰...