SVM 的核函式選擇和調參

2021-09-13 03:09:42 字數 937 閱讀 6495

本文結構: 

1. 什麼是核函式 

2. 都有哪些 & 如何選擇 

3. 調參

1. 什麼是核函式

核函式形式 k(x, y) = ,

其中 x, y  為 n 維,f 為 n 維到 m 維的對映,表示內積。12

在用svm處理問題時,如果資料線性不可分,希望通過 將輸入空間內線性不可分的資料 對映到 乙個高維的特徵空間內,使資料在特徵空間內是線性可分的,這個對映記作 ϕ(x),

之後優化問題中就會有內積 ϕi⋅ϕj, 

這個內積的計算維度會非常大,因此引入了核函式, 

kernel 可以幫我們很快地做一些計算, 否則將需要在高維空間中進行計算。

2. 都有哪些 & 如何選擇

下表列出了 9 種核函式以及它們的用處和公式,常用的為其中的前四個:linear,polynomial,rbf,sigmoid

3. 調參

在 sklearn 中可以用 grid search 找到合適的 kernel,以及它們的 gamma,c 等引數,那麼來看看各 kernel 主要調節的引數是哪些:

核函式    公式    調參

linear kernel        

polynomial kernel        -d:多項式核函式的最高次項次數,-g:gamma引數,-r:核函式中的coef0

gaussian radial basis function (rbf)        -g:gamma引數,預設值是1/k

sigmoid kernel        -g:gamma引數,-r:核函式中的coef0

其中有兩個重要的引數,即 c(懲罰係數) 和 gamma, 

gamma 越大,支援向量越少,gamma 越小,支援向量越多。 

而支援向量的個數影響訓練和**的速度。 

c 越高,容易過擬合。c 越小,容易欠擬合。

SVM 的核函式選擇和調參

核函式形式 k x,y 其中 x,y 為 n 維,f 為 n 維到 m 維的對映,表示內積。在用svm處理問題時,如果資料線性不可分,希望通過 將輸入空間內線性不可分的資料 對映到 乙個高維的特徵空間內,使資料在特徵空間內是線性可分的,這個對映記作 x 之後優化問題中就會有內積 i j,這個內積的計...

SVM核函式選擇

svm支援向量機,一般用於二分類模型,支援線性可分和非線性劃分。svm中用到的核函式有線性核 linear 多項式核函式pkf以及高斯核函式rbf。當訓練資料線性可分時,一般用線性核函式,直接實現可分 當訓練資料不可分時,需要使用核技巧,將訓練資料對映到另乙個高維空間,使再高維空間中,資料可線性劃分...

SVM 核函式的選擇

1 經常使用的核函式 核函式的定義並不困難,根據泛函的有關理論,只要一種函式k xi,x j 滿足mercer條件,它就對應某一變換空間的內積 對於判斷哪些函式是核函式到目前為止也取得了重要的突破,得到mercer定理和以下常用的核函式型別 1 線性核函式k x,x i x xi 2 多項式核k x...