機器學習知識點相關總結（一）——基礎
機器學習知識點相關總結（二）——決策樹相關
機器學習知識點相關總結（三）——lr相關
機器學習知識點相關總結（四）——svm相關
機器學習知識點相關總結（五）——cnn相關
機器學習知識點相關總結（六）——rnn,lstm相關
機器學習知識點相關總結（七）——k-means相關
1.講一下svm, svm與lr有什麼聯絡，與感知機的區別
svm的思路就是在特徵空間中找到乙個超平面將資料集進行正確劃分，並且間隔最大。
svm是一種二分類模型，它的基本模型是定義在特徵空間上的間隔最大的線性分類器，間隔最大使他區別於感知機。
svm學習策略是間隔最大化，可形式化為求解凸二次規劃問題。
（支援向量在確定分離超平面中起決定性作用，因此將這種分類模型稱為支援向量機。）
幾個概念：函式間隔，幾何間隔，支援向量。
最大間隔超平面的原理：相當於在最小化權重時對訓練誤差進行了約束。相當於限制了模型的複雜度，一定程素上防止過擬合。
svm與lr
聯絡：都是監督學習；如果不考慮核函式，都是線性分類演算法；都是判別式模型。
不同：損失函式不同，
lr基於極大似然估計，考慮經驗風險最小化，
svm基於間隔最大化，考慮結構風險最小化；
svm只考慮超平面附近的少數點，
lr考慮所有點；解決非線性機制時，
svm可以使用核函式。
svm計算複雜，適用於小資料集，
lr計算簡單，適合大資料集。
svm與感知機：都是線性分類器，監督學習。
感知機追求最大程度正確劃分，容易造成過擬合；支援向量機在追求正確分類同時一定程度避免過擬合。感知機可以選擇多個超平面，特殊情況發展為
svm。損失函式不同。
2.svm的推導（對偶問題數學公式），為什麼使用對偶問題。核函式的體現
原始最優化問題（統計學習
p99）
轉化為對偶問題推導過程（統計學習
p103）
為什麼使用對偶問題：對偶問題往往更容易求解；很自然引入核函式，進而推廣到非線性分類問題。
核函式的體現？
3.svm如何選擇核函式？
核函式：表示將輸入從輸入空間對映到特徵空間後得到的特徵向量之間的內積。
對於線性不可分問題，使用核函式可以從原始空間對映到高維空間，使得問題線性可分。
常見的核函式有：多項式核函式，高斯核函式，線性核函式。
線性核函式：主要用於線性可分情形，引數少，速度快。
高斯核函式：主要用於線性不可分，可以將樣本對映到乙個更高維的空間。引數多，分類結果依賴於引數。（可以將樣本空間對映為無窮維空間）
多項式核函式
拉普拉斯核
sigmoid核
核函式為什麼有用，從數學角度說明？
核函式是對映關係的內積，相當於一種計算對映到高維空間後的內積的一種技巧
對映函式本身是一種對映關係，並沒有增加維度的特性
核函式和對映沒有關係
4.軟間隔
線性不可分問題函式間隔，加上乙個鬆弛變數
5.svm有哪些降低模型複雜度的方法
大懲罰係數，簡單核函式
正則化
6.優缺點
優點：小訓練集往往取得較好效果；使用核函式避免了高維空間的複雜性；泛化能力強。
缺點：時空開銷比較大；核函式的選取較難，主要靠經驗。
7.smo演算法如何實現
smo演算法不斷分解原問題為子問題，並不斷對子問題求解。
包括求解兩個變數二次規劃的解析方法以及選擇變數的啟發式方法。
是一種啟發式演算法，基本思路是：
如果所有變數的解都滿足此最優化問題的kkt條件，那麼這個最優化問題的解就得到了。否則選擇兩個變數，固定其他變數，針對這兩個變數構建乙個二次規劃問題，這個二次規劃問題關於這兩個變數的解應該更接近原始二次規劃問題的解，因為會使得原始二次規劃問題的目標函式值變得更小
8.svm怎麼進行多分類問題？
一對多，k個分類問題可以訓練k個svm
一對一，任意兩個樣本之間都設定乙個分類器，k個類別的樣本需要訓練k(k-1)/2個樣本，**時取得票最多的樣本類別。
層次支援向量機：先將所有類別分成兩個子類，再進一步將子類分成兩個次級子類。迴圈直到得到乙個單獨的子類為止。
SVM相關知識點
svm目錄索引 線性可分 svm 硬間隔最大化 線性 svm 軟間隔最大化 非線性 svm 核技巧 x z k x,z x y 2 序列最小最優化演算法 smo 特點 優點 依賴的支援向量少，模型精緻 訓練完成後，速度非常快 只受邊界點影響，對高緯資料效果也很好 與核函式結合極具通用性 可表示為凸優...
機器學習相關知識點面試總結
博主近日參加了導師實驗室的面試，因為對機器學習比較感興趣，所以簡歷上寫了目前已實現svm，adaboost等演算法，然後接下來的二十多分鐘面試基本問svm了。很多知識點其實以前也有遇到，只是沒有詳細總結，此處博主班門弄斧，不到位的地方還請大家指正。1 樸素貝葉斯的平滑處理過程是什麼？這點其實在and...
機器學習相關知識點
1 tp 將正類 為正類數 fn 將正類 為負類數 fp 將負類 為正類數 tn 將負類 為負類數 精確率 precision p tp tp fp 反映了被分類器判定的正例中真正的正例樣本的比重。準確率 accuracy a tp tn p n tp tn tp fn fp tn 反映了分類器統對...