SVM 核函式的選擇

2021-07-10 20:39:22 字數 1297 閱讀 6903

1、經常使用的核函式

核函式的定義並不困難,根據泛函的有關理論,只要一種函式k(

xi,x

j)滿足mercer條件,它就對應某一變換空間的內積.對於判斷哪些函式是核函式到目前為止也取得了重要的突破,得到mercer定理和以下常用的核函式型別:

(1)線性核函式k

(x,x

i)=x

⋅xi

(2)多項式核k

(x,x

i)=(

(x⋅x

i)+1

)d

(3)徑向基核(rbf)k

(x,x

i)=exp(−

∥x−x

i∥2σ

2)

gauss徑向基函式則是區域性性強的核函式,其外推能力隨著引數

σ 的增大而減弱。多項式形式的核函式具有良好的全域性性質。區域性性較差。

(4)傅利葉核k

(x,x

i)=1

−q22

(1−2

qcos(x

−xi)

+q2)

(5)樣條核k

(x,x

i)=b

2n+1

(x−x

i)

(6)sigmoid核函式k

(x,x

i)=tanh(κ

(x,x

i)−δ

) 採用sigmoid函式作為核函式時,支援向量機實現的就是一種多層感知器神經網路,應用svm方法,隱含層節點數目(它確定神經網路的結構)、隱含層節點對輸入節點的權值都是在設計(訓練)的過程中自動確定的。而且支援向量機的理論基礎決定了它最終求得的是全域性最優值而不是區域性最小值,也保證了它對於未知樣本的良好泛化能力而不會出現過學習現象。

2、核函式的選擇

在選取核函式解決實際問題時,通常採用的方法有:一是利用專家的先驗知識預先選定核函式;二是採用cross-validation方法,即在進行核函式選取時,分別試用不同的核函式,歸納誤差最小的核函式就是最好的核函式.如針對傅利葉核、rbf核,結合訊號處理問題中的函式回歸問題,通過**實驗,對比分析了在相同資料條件下,採用傅利葉核的svm要比採用rbf核

的svm誤差小很多.三是採用由smits等人提出的混合核函式方法,該方法較之前兩者是目前選取核函式的主流方法,也是關於如何構造核函式的又一開創性的工作.將不同的核函式結合起來後會有更好的特性,這是混合核函式方法的基本思想.

SVM核函式選擇

svm支援向量機,一般用於二分類模型,支援線性可分和非線性劃分。svm中用到的核函式有線性核 linear 多項式核函式pkf以及高斯核函式rbf。當訓練資料線性可分時,一般用線性核函式,直接實現可分 當訓練資料不可分時,需要使用核技巧,將訓練資料對映到另乙個高維空間,使再高維空間中,資料可線性劃分...

關於SVM核函式的選擇

今天去面試的時候,面試官問了我乙個問題 svm的核函式如何選擇?我說試試吧,答案可能也對,但這樣會浪費時間。上網搜尋了一下,andrew的說法是 1.當樣本的特徵很多時,特徵的維數很高,這是往往樣本線性可分,可考慮用線性核函式的svm或lr 如果不考慮核函式,lr和svm都是線性分類演算法,也就是說...

選擇支援向量機 SVM 核函式

svm核函式通常有四種 1.linear 2.polynomial 3.gaussian rbf 4.sigmoid logistic 不知為何,rbf最常用 ok,很顯然,兩種核函式都能讓我們接受,具有很強的說服力。這時候通常選擇簡單的那個,即線性核函式,因為不論是引數個數上還是複雜度上,還是對映...