《svm→4
.目標函式的求解 》
原優化問題
原優化問題是凸優化問題
上述的拉格朗日函式是凸函式
建立原優化問題的對偶問題：
求拉格朗日對偶函式
w是乙個向量，
求得的w是支援向量的線性組合，參考見第5課→svm→svm求解例項
代入拉格朗日函式中得
注意：最終得到
約束條件：圖
建立對偶問題
可將轉變為對偶優化問題的好處是：
約束條件變得簡單了：不等式約束僅有ai≥0，等式約束僅有yi
標量而沒有複雜的xi
向量將所有的x的資訊放在(xi•xj)上，從而針對不同的分類問題使用不同的核
這個目標函式其實可以這麼記：
通過求解a*(最優的a 可以使用smo演算法求解),進而求解w*和b*確定超平面方程和分類決策函式
w和b是圖
只能利用支援向量來求b，因為
在原優化問題
約束條件中，等號只有在樣本為支援向量時成立
分離超平面可以寫成
分類決策函式可以寫成圖
分類決策函式只依賴於輸入x和所有支援向量訓練樣本的內積
上述推導需滿足kkt條件：
ai≥0
1-yi(wxi+b)≤0
ai( 1-yi(wxi+b) )=0
擴充套件：
符號函式（sign function，簡稱sgn）是乙個邏輯函式，用以判斷實數的正負號。為避免和英文讀音相似的正弦函式（sine）混淆，它亦稱為signum['saɪɡnəm] function。其定義為：
序列最小最優化（ sequential minimal optimization. smo) 演算法 將原問題不斷分解為子問題並對子問題求解， 進而達到求解原問題的目的 。
將多個變數的函式求極值問題轉化為單個變數的函式求極值
我們的目標函式包含ai(i=1,...n)，我們將其中乙個變數當做變數，剩餘的變數隨機賦初始值，則目標函式變為單變數的函式求極值問題，比如我們求出了a1*
此時我們再假設a2為變數，剩餘的變數隨機賦隨機值(a1是a1*)，再進行求解
不停地迭代，直至解收
注 意， 子問題的兩個變數中只有乙個是自由變數，假設a1變數，a2,a3,a4,...a5固定，那麼由於
posted on 2018-10-08 08:35收藏
PCA的原理 目標函式及求解方法。
pca旨在找到資料中的主成分，並利用這些主成分表徵原始資料，從而達到降維的目的。舉乙個簡單的例子，在三維空間中有一系列資料點，這些點分布在乙個過原點的平面上。如果我們用自然座標系x,y,z三個軸來表示資料，就需要使用三個維度。而實際上，這些點只出現在乙個二維平面上，如果我們通過座標系旋轉變換使得資料...
SVM用到的函式
python enumerate 函式 numpy.flatnonzero np.random.choice的用法 python 之plt.subplot畫圖詳解 np.vstack 和np.hstack np.ones x train np.hstack x train,np.ones x tra...
SVM 核函式的選擇
1 經常使用的核函式 核函式的定義並不困難，根據泛函的有關理論，只要一種函式k xi,x j 滿足mercer條件，它就對應某一變換空間的內積 對於判斷哪些函式是核函式到目前為止也取得了重要的突破，得到mercer定理和以下常用的核函式型別 1 線性核函式k x,x i x xi 2 多項式核k x...