一 核化法核技巧的一些基礎知識

2021-10-05 11:52:13 字數 2129 閱讀 1768

一些常用的kf

在很多時候,在當前空間中,我們無法用線性方法分類,像下圖中的左側圖,x和o分類邊界是乙個橢圓,這會給分類造成麻煩。但是我們現在引入乙個函式,使得將這個二維空間對映到右側的三維空間,對映函式如圖所示,可以發現現在的o,x可以被乙個線性平面所切分,是不是變方便了很多,這個就是核技巧的用處。(問題1:如何找φ函式?)

還是看這圖,黃線和綠線分別是兩類其中乙個元素在兩個空間的對映關係。試著求一下3維空間兩個元素的內積,從圖下方推導可以看出兩個3維空間元素的內積竟然可以用對應低維空間的兩個元素座標資訊表達出來!這邊是源空間內積的平方。這邊好像可以得出 如果你想要算高維度(一般都是低維對映到高維,這樣元素分的更開,例子是2->3)的內積,你不需要知道高維度的座標資訊,而是可以直接用原空間的座標資訊表達出來。我們把可以表達高維度資訊的低維度表達函式稱為核函式 kernel function,這個例子的kf是()的平方。

----從這裡可以得出,這樣乙個結論,如果你想知道高維空間的內積資訊,你可以不知道(問題1)中的φ函式,只需知道kf就行。

同樣的高維空間的元素之間的距離、角度資訊也可不需要φ函式,用kf即可,具體推導見下圖

距離資訊

角度資訊

再引入 核矩陣 包含所有元素之間的高維度的內積資訊

圖中φx(注意下 下圖已經是從原始維度對映到了較高維度的圖)表示座標資訊(特徵),y則是類別(標籤 分為+是1,o是-1兩類)。有兩類+,o,紅色代表各類均值(c+ 代表1類均值點,c-代表-1類均值點)。c為c- ,c+中點,綠星代表testing sample,且也已經對映到高維。可以從圖種看出,要判別testing sample的類別,只要看綠色向量和紅色向量的cosθ即可,如果》0為1類,<0為-1類。

那麼問題就來了 如何求綠色向量和紅色向量的cosθ?

法一:需要知道φ函式,通過知道所有高維度座標資訊,自然就能求cos。但這個方法顯然不好,不太符合核技巧。

法二:我們如果能不知道φ函式,只通過核函式就能求解,那這不是核函式的精髓所在嗎?看下圖

c+ , c-是兩類的均值點,w是向量c+ - c-

至於怎麼求b 因為在低維c座標也可求,用低維的c,再加上核函式自然可以求出高維的c的式子b。

可以看到上圖中的 w 也可以看做φ(xi)的線性組合

α為整合的係數向量, αi= 1/m+或-1/m- ,維度為 n 即樣本數

原式集成為(其中b=-w(t)c):

半正定函式定義:設 ⊂ 是包含原點的乙個區域,如果定義在 上的連續函式 滿足: ,以及 , 且 。則稱 是正定的。如果只滿足弱一點的條件,對 ,只有 ,則稱 為半正定的。

這個條件等價於上文中得出的核矩陣要是乙個半正定矩陣。即k>=0

下面證明乙個kf符合該要求,即該核矩陣k為半正定。

證明定理:設a為實對稱矩陣,若對於每個非零實向量x,都有x』ax≥0,則稱a為半正定矩陣,稱x』ax為半正定二次型。

有線性核函式,多項式核函式,高斯核函式等

一些基礎知識(一)

1 類成員的組成 函式成員和資料成員 資料成員 字段,常量,事件成員 public int a 0 字段成員 public const int b 90 常量public event customeventhandler raisecustomevent 事件成員 函式成員 方法,屬性,建構函式,終...

一些基礎知識

關於cd cd 返回剛才的位置 關於ls ls l,簡寫ll ls a顯示的檔案以.開頭,隱藏檔案 la al 關於cp cp r tmp dir 拷目錄 tmp拷到dir 需要加 r的 cp rm 10 13 1.grep 在乙個字元集合中找到符合條件的行輸出 如 grep hello file ...

一些基礎知識

linux基礎知識考查 1 在linux 系統中,以 檔案 方式訪問裝置 2 前台起動的程序使用 ctrl c 終止。3 在使用ls 命令時,用八進位制形式顯示非列印字元應使用引數 b 4 在linux 系統中,用來存放系統所需要的配置檔案和子目錄的目錄是 etc 5 在linux 系統中,壓縮檔案...