我們回顧一下之前的三種線性模型，它們的共同點是都要對輸入的資料x做乙個加權的分數s。
下圖表示了這三種不同的線性模型的表示方式、誤差函式和求解最小的ein的方法。
這裡可以看出，pla演算法這種線性分類模型，在求解ein的時候是很困難的，相對而言，線性回歸和logistic回歸都有各自求解ein的方法，那麼我們能不能用這兩種回歸的計算方法來幫助求解線性分類問題的ein呢？
接下來，我們將這三個方法的誤差函式進行一下變形，把y和s湊在一起，方便我們後面的分析。這裡ys表示分類的正確性分數(correctness score)，這個值是正的說明是同號的，並且這個值越大越好。
我們可以將誤差函式畫出來，將cross-entropy的誤差函式乘以乙個常數，我們可以得到他們之間的關係，故均方誤差和交叉熵誤差都可以做線性分類的誤差函式的上限。
我們可以得到這三個誤差函式的大小關係，這就表示我們可以用線性回歸和logistic回歸來求解線性分類的引數，這兩種方法的優點是方便對誤差函式求解優化問題，缺點是它們在特定的區域都存在過於鬆垮的上限。
如果對於多元分類的問題，我們該如何用二元分類的方法進行擴充套件呢？
如下圖所示的例子，我們可以選乙個類別，比如正方形作為正例，其他的資料都作為負例，這樣我們可以將該類和其他類有效的分開。這樣我們就可以將區域進行有效的劃分，如圖，可以劃分成9個區域，但是我們同時發現，在畫叉的區域並不是劃分為乙個類別，有可能屬於兩個類別。中間的區域還會被所有分類器都判定為負例。
為了解決這個問題，我們可以嘗試用logistic回歸的方法，不是明確將資料例項硬性分開，而是給出乙個軟性的類別，即給出該區域例項所屬類別的概率，這樣某個例項具體的所屬類別是其最大概率的類別。
下面給出這種一對多的方法的具體步驟：
這個方法的優點是快速有效，缺點是當類別數目很大時，所有的假設都會將資料歸為負例，使得效果不理想。
還有一種用於多元分類的方法是一對一法。
我們可以選取乙個類別與其它任意乙個類別進行分類（故名一對一法），比如4個類別的情形，會產生6個線性分類器。
那麼，當要**某個資料例項的所屬類別時，可以得到這6個分類器**的類別，將這些類別進行投票，將投票數最多的類別作為最終輸出的類別。
這個方法的優點是有效率，不同於一對多法(ova)，一對一法訓練時是將任意兩個類別的資料構建分類的，而一對多法是將所有資料用來構建乙個分類器的。
缺點是要計算o(k^2)這麼多的w，這就需要更多的儲存空間、更長的**時間和訓練。
機器學習基石課程，林軒田，台灣大學
github主頁(
csdn部落格(
機器學習 回歸模型
回歸模型的功能一般是 分為線性回歸，決策樹 回歸樹 支援向量機 svr 線性回歸一般使用的公式如下 y w 0 x 0 w 1 x 1 w 2 x 2 w p x p bias x 0 到x p 表示單個資料點的特徵，w 和 bias是模型需要學習的引數，y則是模型 的結果。從高維來看，這裡的彩色斜...
機器學習 回歸模型
f x wt x b線性回歸 嶺回歸lasso lasso是least absolute shrinkage and selection operator的簡稱 邏輯回歸 對數機率回歸 線性回歸要求均方誤差最小 w b argmin sum m f x y w x tx lambda i x ty ...
機器學習 分類與回歸
連續變數 定性輸出稱為分類，或者說是 離散變數 回歸問題通常是用來 乙個值 如 房價 未來的天氣情況等等，例如乙個產品的實際 為500元，通過回歸分析 值為499元，我們認為這是乙個比較好的回歸分析。乙個比較常見的回歸演算法是線性回歸演算法 lr 另外，回歸分析用在神經網路上，其最上層是不需要加上s...