在之前的部落格中，我們討論了邏輯回歸模型(logistic regression)解決分類問題。但是我們發現，邏輯回歸模型解決的是二分問題，即：模型的結果只有兩個值，y=0 or y=1 。但是在現實情境下，我們的訓練集往往包含多個類(>2)，我們就無法用乙個二元變數(y=0|y=1)來做判斷依據了。舉個例子，我們**天氣，天氣的情況就分為：晴天、陰天、雨天、多雲、雪天、霧天等等。
下面是乙個多類分類問題(multiclass classification)可能的情況：
三個不同的形狀，表示三種不同的分類。
一種解決這類問題的途徑，是採用一對多(one-vs-all)方法。在一對多方法中，我們將多類分類問題轉變成二元分類問題。為了能實現這樣的轉變，我們將多個類中的乙個類標記為正向類(y=1)，然後將其他所有的類都標記成負向類(y=0)，這個模型記作：
接著，相同的，我們選擇另外乙個類標記為正向類(y=2)，再將其他的類都標記為負向類，將這個模型記作：
以此類推。
最後，我們得到一系列的模型，簡記為：
其中 i = 1,2,3,...,k
步驟可以記作下圖：
最後，在我們需要做**時，我們將所有的分類機都執行一遍，然後對於每乙個輸入變數，都選擇最高可能性的輸出變數。
這便是解決多類分類問題的一對多方法。
下一次，我們討論關於訓練集資料擬合問題的歸一化問題(regularization)。
機器學習之多元分類（機器學習基石）
如上圖所示我們要使用一些線性模型來分割這四種不同的圖案，利用以前學過的二元分類我們可以將某乙個種類分別從整體中分離出來。比如將圖通是方塊和不是方塊的做二元分類，是三角形的和不是三角形的進行分類等等，然後我們得到下圖 如上圖所示我們在單獨的分割中可以分別將我們想要的目標圖案分割出來，但是我們將這些圖示...
機器學習之多分類相關術語
多分類學習的基本思路是 拆解法 即將多分類任務拆為若干個二分類任務求解。最經典的拆分策略有三種 一對一 one vs.one，簡稱ovo 一對其餘 one vs.rest 簡稱ovr 和 多對多 many vs.many，簡稱mvm 一種最常用的mvm 技術 糾錯輸出碼 error correcti...
機器學習（2） 分類問題
參考部落格 根據一些 feature 進行分類，每個節點提乙個問題，通過判斷，將資料分為兩類，再繼續提問。這些問題是根據已有資料學習出來的，再投入新資料的時候，就可以根據這棵樹上的問題，將資料劃分到合適的葉子上。個人總結 不能保證正確 一組資料的特徵用向量表示，比如 x1,x2,x3,x4 有4個特...