機器學習 重新認識支援向量機(SVM)

2022-09-14 15:30:21 字數 1276 閱讀 2953

注:對於一位剛剛站在科學研究大門口的博士一年級學生,思考科研的方法以及科研與其它工作之間的異同由來已久。科研的道路上充滿了不確定性,從大方向到每一步的細節都需要探索。如果我們放任這種不確定性不予理睬,那麼我們做科研的道路將充滿荊棘(少數情況下可能會有驚喜),這裡的約束條件之一是:面對科學中無盡的前沿,我們的精力和能力是有限的。自大學時代就開始思考「博」與「專」的問題,一方面自己的興趣廣泛,有時候還會為自己學習新東西的高效而沾沾自喜;另一方面又常常感覺到自己的專業知識不夠系統、欠缺深度。我也在不同的場合,跟不同的老師、長輩和朋友聊起過這個問題。有人認為博和專應該齊頭並進,兩者能夠相互促進;有人認為應該專注於乙個特定領域,這將是我們安身立命之根本。這樣的爭論一直存在,直到在微博上看到朱光潛先生在其《談讀書》中的一句話:「不能通就不能專,不能博就不能約。先博學而後守約,這是治任何學問所必守的程式。」對於這句話,我深感認同。

做研究不等同於學習。在學習的過程中,大多數時候我們是在吸納已有的成體系的知識(博學);但是做研究其實是在乙個相對較小的領域創造和生產新的知識(守約)。學習是打基礎;做研究是在運用知識,開拓知識的邊界。人類幾千年的文明程序,給我們留下了豐富的精神財富,我們窮其一生,也只可能了解其中的很小一部分。因此,當我們從事研究工作時,需要找到「學習」與「研究」之間的平衡點。

在科研過程中, 往往是先有問題,而後才有研究。只有在提出乙個問題的時候,一項研究工作才真正開始。我們可以進一步分析問題、規範問題的形式,討論在現有知識體系下,解決該問題的可能性。「問題」的質量在很大程度上決定了研究過程和結果的質量。有時候提出乙個好問題比解決乙個難題更有價值。「發問」也可以算是一種主動學習的過程,但是與廣泛的學習相比,此時更加專注、問題導向、有比較明確的目的。圍繞乙個「明確定義的問題」來展開研究,相當於新增了乙個非常強的約束條件,這在很大程度上幫助我們降低了過程和結果的不確定性(基於我們對問題的理解,可以形成某種程度的預期)。此時,我們所要做的就是找到一條通往該問題的路,一開始披荊斬棘開闢一條羊腸小道,隨後再不斷擴寬。

回到svm,之所以「重新認識」,是因為之前寫過一篇與svm相關的文章:從svm到svr,但是自己之前還是沒理解清楚。假如現在我們以問題出發來重新認識svm,可以提出哪些問題?

1. 在兩組樣本線性可分的情況下,如何使分隔邊界最大化,從而使兩組樣本盡可能的分開?

2. 如何處理兩組樣本線性不可分的情況?

3. 如何將以上問題轉化為乙個帶約束的優化問題(約束條件是什麼,如何求解,最終的解應該如何解釋)?

4. kernel function:什麼是kernel function,為什麼要引入kernel function,常見的kernel function有哪些?

(未完待續。。。)

機器學習 支援向量機

線性可分支援向量機 1.回顧感知機模型 2.函式間隔與幾何間隔 3.支援向量 4.svm模型目標函式與優化 5.線性可分svm的演算法過程 線性可分支援向量機 1.軟間隔最大化 2.線性分類svm的軟間隔最大化目標函式的優化 3.軟間隔最大化時的支援向量 4.軟間隔最大化的線性可分svm的演算法過程...

機器學習 支援向量機

svm就是試圖把棍放在最佳位置,好讓在棍的兩邊有盡可能大的間隙。這個間隙就是球到棍的距離。這裡我們看到兩種不同顏色的小球 我們找到乙個棍子放在其中,把他們分割開來,但是僅僅是這麼簡單嘛,不不,我們還要考慮怎麼放這根棍子,能夠分開這兩種小球的棍子在中間有無數種方法哪種最好呢?保證決策面方向不變且不會出...

機器學習 支援向量機 SVM

svm 方法的基本思想是 定義最優線性超平面,並把尋找最優線性超平面的演算法歸結為求解乙個凸規劃問題。進而基於 mercer 核展開定理,通過非線性對映 把樣本空間對映到乙個高維乃至於無窮維的特徵空間 hilbert 空間 使在特徵空間中可以應用線性學習機的方法解決樣本空間中的高度非線性分類和回歸等...