線性回歸與邏輯回歸的區別

2021-09-01 05:56:54 字數 1742 閱讀 7327

以經典的**房價為例,

假設樣本為(x,y

ix, y_i

x,yi

​),其中x是多維變數(x=(

x1,x

2...

xn)x = (x_1, x_2...x_n)

x=(x1​

,x2​

...x

n​)),屬性包括房子大小,使用年限等,y是對應該樣本的房價。

那麼我們就可以得到乙個**房價的假設模型,

h θ(

x)=θ

txh_\theta(x) = \theta^t x

hθ​(x)

=θtx

只要我們求出了引數θ

\theta

θ,就完成了模型的求解,可以用求得的模型來**新的樣本。

note:這裡可以看出,這裡求出的模型是乙個連續函式,即對應樣本的輸入,輸出會有無限可能(可能為負數,可能為0,也可能為正數,既可能為整數,也可能為浮點數)

同樣以經典的**房價為例,

假設樣本為(x,y

ix, y_i

x,yi

​),其中x是多維變數(x=(

x1,x

2...

xn)x = (x_1, x_2...x_n)

x=(x1​

,x2​

...x

n​)),屬性包括房子大小,使用年限等,不同的是,這裡的y換成了房價是否超過2萬美元,超過為1,不超過則為0。

於是線性回歸中的假設模型不能適用到這裡了,需要進行適當的修改。

h θ(

x)=s

igmo

id(θ

tx)h_\theta(x) = sigmoid(\theta^t x)

hθ​(x)

=sig

moid

(θtx

)這裡使用了sigmoid函式對原模型進行修改(在一些教程裡,也有把sigmoid函式叫做邏輯函式的說法),把原模型的輸出規範到了(0, 1)之間。

note: 這裡可以看出,在使用邏輯回歸的時候,所**樣本值的輸出範圍應該是有限的(如0, 1)離散值

吳恩達的《machine learning》中談到了這點,線性回歸模型的表達能力有限,如果直接使用線性回歸,並且使用線性回歸的平方和作為成本函式,那麼成本函式會變成如下(「non-convex」):

有太多的區域性最優解,如果使用邏輯回歸並且使用對數損失函式作為成本函式,成本函式才會易於求解(「convex」):

線性回歸和邏輯回歸不同的地方有很多,但在我看在,最基本的不同是模型的表示不同,因此導致了所解決問題的能力不同,進而導致了許多的差異。

對這些差異總結如下:

對線性回歸、邏輯回歸、各種回歸的概念學習

機器學習演算法總結–線性回歸和邏輯回歸

線性回歸與邏輯回歸

stackoverflow, what is the difference between linear regression and logistic regression?

線性回歸與邏輯回歸

cost functionj 12m i 1m h x i y i hypothesish x tx 梯度下降求解 為了最小化j j j 1m i 1m h x i y i x i j 每一次迭代更新 j j 1m i 1m h x i y i x i j 正規方程求解 最小二乘法 xtx 1x t...

邏輯回歸與線性回歸的區別與聯絡

邏輯回歸與線性回歸都屬於廣義線性回歸模型,其區別與聯絡從以下幾個方面比較 分類與回歸 回歸模型就是 乙個連續變數 如降水量,等 在分類問題中,屬於某類的概率,可以看成回歸問題。這可以說是使用回歸演算法的分類方法。輸出 直接使用線性回歸的輸出作為概率是有問題的,因為其值有可能小於0或者大於1,這是不符...

邏輯回歸與線性回歸的區別與聯絡

邏輯回歸與線性回歸都屬於廣義線性回歸模型,其區別與聯絡從以下幾個方面比較 分類與回歸 回歸模型就是 乙個連續變數 如降水量,等 在分類問題中,屬於某類的概率,可以看成回歸問題。這可以說是使用回歸演算法的分類方法。輸出 直接使用線性回歸的輸出作為概率是有問題的,因為其值有可能小於0或者大於1,這是不符...