支援向量機SVM 百度百科

2022-02-19 03:02:46 字數 1816 閱讀 4439

支援向量機(英語:support vector machine, 簡稱svm),是一種有監督學習方法,可被廣泛應用於統計分類以及線性回歸。

vapnik等人在多年研究統計學習理論基礎上對線性分類器提出了另一種設計最佳準則。其原理也從線性可分說起,然後擴充套件到線性不可分的情況。甚至擴充套件到使用非線性函式中去,這種分類器被稱為支援向量機。

主要思想

它是針對線性可分情況進行分析,對於線性不可分的情況,通過使用非線性對映演算法將低維輸入空間線性不可分的樣本轉化為高維特徵 空間使其線性可分,從而使得高維特徵空間採用線性演算法對樣本的非線性特徵進行線性分析成為可能;

舉例:如下圖:將1維的「線性不可分」上公升到2維後就成為線性可分了。

它基於結構風險最小化理論之上在特徵空間中建構最優分割超平面,使得學習器得到全域性最優化,並且在整個樣本空間的期望風險以某個概率滿足一定上界。

一般特徵

svm學習問題可以表示為凸優化問題,因此可以利用已知的有效演算法發現目標函式的全域性最小值。而其他分類方法(如基於規則的分類器和人工神經網路)都採用一種基於貪心學習的策略來搜尋假設空間,這種方法一般只能獲得區域性最優解。

svm通過最大化決策邊界的邊緣來控制模型的能力。儘管如此,使用者必須提供其他引數,如使用核函式型別和引入鬆弛變數等。

通過對資料中每個分類屬性引入乙個啞變數,svm可以應用於分類資料。

svm一般只能用在二類問題,對於多類問題效果不好。

原理簡介

svm方法是通過乙個非線性對映p,把樣本空間對映到乙個高維乃至無窮維的特徵空間中(hilbert空間),使得在原來的樣本空間中非線性可分的問題轉化為在特徵空間中的線性可分的問題。簡單地說,就是公升維和線性化。公升維,就是把樣本向高維空間做對映,一般情況下這會增加計算的複雜性,甚至會引起「維數災難」,因而人們很少問津。但是作為分類、回歸等問題來說,很可能在低維樣本空間無法線性處理的樣本集,在高維特徵空間中卻可以通過乙個線性超平面實現線性劃分(或回歸)。一般的公升維都會帶來計算的複雜svm方法巧妙地解決了這個難題:應用核函式的展開定理,就不需要知道非線性對映的顯式表示式;由於是在高維特徵空間中建立線性學習機,所以與線性模型相比,不但幾乎不增加計算的複雜性,而且在某種程度上避免了「維數災難」.這一切要歸功於核函式的展開和計算理論。

常用核函式

⑴ 線性核函式k(x,y)=x·y;

⑵ 多項式核函式k(x,y)=[(x·y)+1]d;

⑶ 徑向基函式k(x,y)=exp(-|x-y|^2/d^2)

⑷ 二層神經網路核函式k(x,y)=tanh(a(x·y)+b).

AnimateWindow 百度百科

animatewindow 開放分類 程式設計 計算機 api 函式功能 該函式能在顯示與隱藏視窗時能產生特殊的效果。有兩種型別的動畫效果 滾動動畫和滑動動畫。函式原型 bool animatewindow hwnd hwnd,dword dwtime,dword dwflags 引數 hwnd 指...

WCF百度百科

根據微軟官方的解釋,wcf 之前的版本名為 indigo 是使用託管 建立和執行面向服務 service oriented 應用程式的統一框架。它使得開發者能夠建立乙個跨平台的安全 可信賴 事務性的解決方案,且能與已有系統相容協作。wcf是微軟分布式應用程式開發的集大成者,它整合了.net平台下所有...

Mashup 百度百科

mashup是糅合,是當今網路上新出現的一種網路現象,將兩種以上使用公共或者私有資料庫的web應用,加在一起,形成乙個整合應用。一般使用源應用的api介面,或者是一些rss輸出 含atom 作為內容源,合併的web應用用什麼技術,則沒有什麼限制。mashup在geek群體和網際網路玩家之中獲得了極大...