支援向量機

支援向量機（svm）：一種專門研究有限樣本**的學習方法。是在統計學習理論基礎之上發展而來的。沒有以傳統的經驗風險最小化原則作為基礎，而是建立在結構風險最小化原理的基礎之上，發展成為一種新型的結構化學習方法。

結構風險最小歸納原理：解決了有限樣本或小樣本的情況下獲得具有優異泛化能力的學習機器。包含了學習的一致性、邊界理論和結構風險最小化原理等部分。克服了經驗風險最小化的缺點。

一：學習過程的一致性

指當訓練樣本數目趨於無窮大時，經驗風險的最優值能夠收斂到真實風險的最優值，只有滿足學習過程的一致性條件，才能保證在學習樣本無窮大時，經驗風險最小化原則下得到的最優學習機器的效能趨近於期望風險最小化的最優結果。只有滿足一致性條件，才能說明學習方法是有效的。

定理：設存在常數a和b，使得對於函式集

則經驗風險最小化原則一致性的充分必要條件是：經驗風險

函式集的vc維

vc維是統計學習理論中的乙個核心概念，它是目前為止描述函式集學習效能最好的指標，並且在計算函式集與分布無關的泛化能力界中起著最重要的作用。指標函式集vc的直觀定義是對於乙個指標函式集，如果存在h個樣本能夠被函式集裡的函式按照所有可能的

備註：vc維實質反應了函式集的學習能力。一般而言，vc維越大，學習機器越複雜，學習容量也就越大。

二：結構風險最小化歸納原理

兩種方法：

（1）給定乙個函式集合，組織乙個巢狀的函式結構，在每個子集中求取最小經驗風險，然後選擇經驗風險與置信風險之和最小的子集。但是，當子集數目較大時，該方法較為費時，甚至不可行。

（2）建構函式集合的某種結構，使得在其中的各函式子集均可以取得最小的經驗風險。例如使訓練誤差為0，然後選擇適當的子集使得置信風險最小，此時相應的函式子集中使得經驗風險最小的函式就是所求解的最優函式。支援向量機就是這個思想的具體體現。

三：支援向量機

基於統計學習理論的vc維理論和結構風險最小原理的基礎上發展起來的一種新的機器學習的方法。根據有限的樣本資訊在模型的複雜性（即對特定訓練樣本的學習精度）和學習能力（即無錯誤地識別任意樣本的能力）之間尋求最佳折中。

支援向量機優點：

（1）非線性對映是svm方法的理論基礎，svm利用內積核函式代替向高維空間的非線性對映；

（2）對特徵空間劃分的最優超平面是svm的目標，最大化分類邊際的思想是svm方法的核心；

（3）支援向量機是svm的訓練結果，在svm分類決策中起決定作用的是支援向量；

（4）svm是一種有堅實理論基礎的、新穎的小樣本學習方法，它基本上不涉及概率測度及大數定律等，因此不同現有的統計方法。從本質上看，它避開了從歸納到演繹的傳統過程，實現了高效的從訓練樣本到預報樣本的「轉導推理」，大大簡化了通常的分類和回歸等問題

（5）svm的最終決策函式只由少數的支援向量確定，計算的複雜性取決於支援向量的數目，而不是樣本空間的維數，避免了「維數災難」

（6）少數支援向量決定了最終結果，可以抓住關鍵樣本，「剔除」大量冗餘樣本，而且注定了該方法不但演算法簡單，而且有較好的「魯棒性」

支援向量機的不足：

（1）svm演算法對大規模訓練樣本難以實施。

（2）用svm解決多分類問題存在困難。

支援向量機的應用：

（1）車輛行人檢測

（2）影象中的文字定位

（3）p2p流量識別