考慮將每個相應型別通過乙個指示變數編碼，這樣，如果有k個類，那麼對於每乙個輸入，輸出時乙個k維向量，其中，如果g=
k ，那麼yk
=1，否則yk
=0，訓練集的n個輸入形成乙個n*k的指示響應矩陣（indicator response matrix）y。
我們用線性回歸模型擬合y的每一列，擬合由下式給出 y^
=x(x
tx)−
1xty
乙個輸入為x的新的觀測按如下辦法分類，
首先計算出輸入f^
(x) ，它是乙個k維向量，將x分類到最大的分量所對應的類中。
該方法的乙個形式化的理由就是我們把這個回歸看成後驗概率p(
g=k|
x=x)
的擬合，但是線性回可能歸模型會使得某個分量擬合值為負或者大於1。雖然如此，這些干擾並不妨礙該方法發揮作用，而且它能產生於更標準的線性分類方法類似的結果。而且可以證明，在存在截距項（x中取值為1的列）的情況下，σk
f^k(
x)=1
。一種更簡化的方法是，為每一類構造乙個目標值tk
，類別gi
對應tk
，然後可以用最小二乘法來擬合這個線性模型。
對於乙個新的觀測，將這個觀測分類距離擬合值最近的類中，即 g^
(x)=
argm
ink|
|f^(
x)−t
k||
事實上，這種方法與指示矩陣的回歸的方法完全相同。
當類的個數k>=3的時候，特別是當k很大的時候，回歸方法有很嚴重的遮蔽問題，比如考慮到一維問題，輸入為(x,y)，類的分布情況如下
那麼擬合這三個類得到的三條直線可能是如下所示
可以看到，在這裡紅色類完全被遮蔽了，對這個問題，二次的擬合將解決該問題，然而，當類的數量更多的時候，次數就需要更高了，乙個不嚴格的一般規則是：如果
k>=
3 個類排成一條線，則可能需要高達k-1次多項式對他們求解，為了對所有情況求解，在p維輸入空間，我們將需要k-1多項式，總共o(
pk−1
) 項。
線性回歸, 邏輯回歸和線性分類器
線性回歸,linear regression 邏輯回歸,logistic regression 線性分類器,linear classifier 邏輯分類器,logistic classifier.注意,這個名詞是我在文章中為了方便說明問題造出來的.線性回歸可以看作乙個perceptron,啟用函式是...
從線性回歸到線性分類
線性回歸在統計機器學習中佔據了核心地位，最基礎的模型。線性回歸有三個特點，打破線性回歸的乙個或幾個特點，就形成了統計機器學習中的眾多模型。三個特點如下 1.線性 1.1關於特徵x是線性的，1.2關於引數w是線性的。1.3從全域性看線性組合之後直接輸出了結果，沒有任何處理。2.全域性性 對所有的特徵空...
線性回歸和logistic分類回歸的區別
回歸問題和分類問題是深度學習裡面需要分清楚的兩種情況，需要根據不同的情況制定不同的演算法，完成不同的任務。兩者最本質的區別是回歸問題代表連續的擬合曲線 值，而分類問題則是將輸入的幾個值分為幾個離散的類。例如 線性回歸處理的是回歸問題 e xp ect y w x bexpect y wx b exp...