SVM核函式的分類

2021-08-09 21:51:07 字數 1736 閱讀 6348

下列不是svm核函式的是:

這道題的答案是logistic核函式。不要把這裡的sigmoid和logistic混淆了,為什麼?看下面解釋:

支援向量機是建立在統計學習理論基礎之上的新一代機器學習演算法,支援向量機的優勢主要體現在解決線性不可分問題,它通過引入核函式,巧妙地解決了在高維空間中的內積運算,從而很好地解決了非線性分類問題。

構造出乙個具有良好效能的svm,核函式的選擇是關鍵.核函式的選擇包括兩部分工作:一是核函式型別的選擇,二是確定核函式型別後相關引數的選擇.因此如何根據具體的資料選擇恰當的核函式是svm應用領域遇到的乙個重大難題,也成為科研工作者所關注的焦點,即便如此,卻依然沒有得到具體的理論或方法來指導核函式的選取.

1、經常使用的核函式

核函式的定義並不困難,根據泛函的有關理論,只要一種函式 k(x

i,xj

)滿足mercer條件,它就對應某一變換空間的內積.對於判斷哪些函式是核函式到目前為止也取得了重要的突破,得到mercer定理和以下常用的核函式型別:

(1)線性核函式

k(x,

xi)=

x⋅xi

(2)多項式核

k(x,

xi)=

((x⋅

xi)+

1)d(3)徑向基核(rbf)

k(x,

xi)=

exp(−∥

x−xi

∥2σ2

) gauss徑向基函式則是區域性性強的核函式,其外推能力隨著引數 σ

的增大而減弱。多項式形式的核函式具有良好的全域性性質。區域性性較差。

(4)傅利葉核

k(x,

xi)=

1−q2

2(1−

2qcos(x−

xi)+

q2)(5)樣條核

k(x,

xi)=

b2n+

1(x−

xi)(6)sigmoid核函式

k(x,

xi)=

tanh(κ

(x,x

i)−δ

) 採用sigmoid函式作為核函式時,支援向量機實現的就是一種多層感知器神經網路,應用svm方法,隱含層節點數目(它確定神經網路的結構)、隱含層節點對輸入節點的權值都是在設計(訓練)的過程中自動確定的。而且支援向量機的理論基礎決定了它最終求得的是全域性最優值而不是區域性最小值,也保證了它對於未知樣本的良好泛化能力而不會出現過學習現象。

2、核函式的選擇

在選取核函式解決實際問題時,通常採用的方法有:一是利用專家的先驗知識預先選定核函式;二是採用cross-validation方法,即在進行核函式選取時,分別試用不同的核函式,歸納誤差最小的核函式就是最好的核函式.如針對傅利葉核、rbf核,結合訊號處理問題中的函式回歸問題,通過**實驗,對比分析了在相同資料條件下,採用傅利葉核的svm要比採用rbf核

的svm誤差小很多.三是採用由smits等人提出的混合核函式方法,該方法較之前兩者是目前選取核函式的主流方法,也是關於如何構造核函式的又一開創性的工作.將不同的核函式結合起來後會有更好的特性,這是混合核函式方法的基本思想.

對於核函式的理解,pluskid的部落格寫的相當不錯啊,大家可以看看。

SVM常用核函式

以下是幾種常用的核函式表示 線性核 linear kernel 多項式核 polynomial kernel 徑向基核函式 radial basis function 也叫高斯核 gaussian kernel 因為可以看成如下核函式的領乙個種形式 徑向基函式是指取值僅僅依賴於特定點距離的實值函式,...

SVM核函式選擇

svm支援向量機,一般用於二分類模型,支援線性可分和非線性劃分。svm中用到的核函式有線性核 linear 多項式核函式pkf以及高斯核函式rbf。當訓練資料線性可分時,一般用線性核函式,直接實現可分 當訓練資料不可分時,需要使用核技巧,將訓練資料對映到另乙個高維空間,使再高維空間中,資料可線性劃分...

SVM 核函式的選擇

1 經常使用的核函式 核函式的定義並不困難,根據泛函的有關理論,只要一種函式k xi,x j 滿足mercer條件,它就對應某一變換空間的內積 對於判斷哪些函式是核函式到目前為止也取得了重要的突破,得到mercer定理和以下常用的核函式型別 1 線性核函式k x,x i x xi 2 多項式核k x...