1.lr 與線性回歸都是廣義的線性回歸；
2.線性回歸模型的優化目標函式是最小二乘，而 lr 則是似然函式；
3.線性回歸在整個實數域範圍內進行**，敏感度一致，而分類範圍，需要在[0,1]。邏輯回歸就是一種減小**範圍，將**值限定為[0,1]間的一種回歸模型，因而對於這類問題來說，邏輯回歸的魯棒性比線性回歸的要好。
4.邏輯回歸的模型本質上是乙個線性回歸模型，邏輯回歸都是以線性回歸為理論支援的。但線性回歸模型無法做到 sigmoid 的非線性形式，sigmoid 可以輕鬆處理 0/1 分類問題。
5.線性回歸中使用的是最小化平方誤差損失函式，對偏離真實值越遠的資料懲罰越嚴重。這樣做會有什麼問題呢？假如使用線性回歸對二分類問題做**，則乙個真值為1的樣本，其**值為50，那麼將會對其產生很大的懲罰，這也和實際情況不符合，更大的**值說明為1的可能性越大，而不應該懲罰的越嚴重。
邏輯回歸使用對數似然函式進行引數估計，使用交叉熵作為損失函式，對**錯誤的懲罰是隨著輸出的增大，逐漸逼近乙個常數，這就不存在上述問題了。也正是因為使用的引數估計的方法不同，線性回歸模型更容易受到異常值(outlier)的影響，有可能需要不斷變換閾值(threshold)
LR和SVM 線性回歸的聯絡與區別
lr和svm的聯絡 都是線性分類方法 不考慮核函式時 都是判別模型 判別模型和生成模型是兩個相對應的模型。判別模型是直接生成乙個表示p y x p y x 或者y f x y f x 的判別函式 或 模型 生成模型是先計算聯合概率分布p y x p y,x 然後通過貝葉斯公式轉化為條件概率。svm和...
LR和SVM 線性回歸的聯絡與區別
lr和svm的聯絡 都是監督的分類演算法 都是線性分類方法 不考慮核函式時 都是判別模型 判別模型和生成模型是兩個相對應的模型。判別模型是直接生成乙個表示或者的判別函式 或 模型 生成模型是先計算聯合概率分布然後通過貝葉斯公式轉化為條件概率。svm和lr，knn，決策樹都是判別模型，而樸素貝葉斯，隱...
總結 LR 與 SVM 以及 線性回歸的區別與聯絡
lr 與 svm 的聯絡與區別 相同點 lr 與 svm 都是分類演算法 lr 與 svm 都是監督學習演算法 lr 與 svm 都是判別模型 關於判別模型與生成模型的詳細概念與理解，筆者會在下篇博文給出，這裡不詳述。如果不考慮核函式，lr 與 svm 都是線性分類演算法，也就是說他們的分類決策面都...