引言
最近了解到了svm這一部分的內容，因此想寫一篇關於svm的損失函式的文章，以加深了解。
損失函式（loss function）
在乙個分類問題不具有線性可分性時，使用超平面作為決策邊界會帶來分類損失，即部分支援向量不再位於間隔邊界上，而是進入了間隔邊界內部，或落入決策邊界的錯誤一側。損失函式可以對分類損失進行量化，其按數學意義可以得到的形式是0-1損失函式：
而 0-1損失函式不是連續函式，不利於優化問題的求解，因此通常的選擇是構造**損失（surrogate loss）。可用的選擇包括鉸鏈損失函式（hinge loss）、logistic損失函式（logistic loss）、和指數損失函式（exponential loss），其中svm使用的是鉸鏈損失函式：
對替代損失的相合性研究表明，當**損失是連續凸函式，並在任意取值下是0-1損失函式的上界，則求解**損失最小化所得結果也是0-1損失最小化的解 。
機器學習 如何理解svm的損失函式
是用來衡量乙個 器在對輸入資料進行分類 時的 壞。損失值越小，分類器的效果越好，越能反映輸入資料與輸出類別標籤的關係 雖然我們的模型有時候會過擬合 這是由於訓練資料被過度擬合，導致我們的模型失去了泛化能力 相反，損失值越大，我們需要花更多的精力來提公升模型的準確率。就引數化學習而言，這涉及到調整引數...
從理論上理解採用交叉熵作為損失函式的意義
簡要解釋為什麼要使用交叉熵作為損失函式。用簡短的話來解釋就是 我們需要得到最大似然估計，即模型得到的 分布應該與資料的實際分布情況盡可能相近。kl散度 相對熵 是用來衡量兩個概率分布之間的差異。模型需要得到最大似然估計，乘以負log以後就相當於求最小值，此時等價於求最小化kl散度 相對熵 所以得到k...
代價函式 損失函式 目標函式的理解
loss function 是定義在單個樣本上的，算的是乙個樣本的誤差。cost function 是定義在整個訓練集上的，是所有樣本誤差的平均，也就是損失函式的平均。object function 定義為 最終需要優化的函式。等於經驗風險 結構風險 也就是cost function 正則化項 代價...