區別：線性回歸主要用來解決連續值**的問題，邏輯回歸用來解決分類的問題，輸出的屬於某個類別的概率。
面對乙個回歸或者分類問題，建立代價函式，然後通過優化方法迭代求解出最優的模型引數，然後測試驗證我們這個求解的模型的好壞
正則化方法
正則化是結構風險最小化策略的實現，是在經驗風險上加乙個正則化項或懲罰項。正則化項一般是模型複雜度的單調遞增函式，模型越複雜，正則化項就越大。
正則項可以取不同的形式，在回歸問題中取平方損失，就是引數的 l2l_
l2 範數，也可以取 l1l_
l1 範數。取平方損失時，模型的損失函式變為：
j (θ
)=l(
θ)+1
/m∗∑
θ2
j(θ) = l(θ) + 1/m * ∑ θ2
j(θ)=l
(θ)+
1/m∗
∑θ2lambda是正則項係數：
• 如果它的值很大，說明對模型的複雜度懲罰大，對擬合資料的損失懲罰小，這樣它就不會過分擬合資料，在訓練資料上的偏差較大，在未知資料上的方差較小，但是可能出現欠擬合的現象；
• 如果它的值很小，說明比較注重對訓練資料的擬合，在訓練資料上的偏差會小，但是可能會導致過擬合。
正則化後的梯度下降演算法θ的更新變為：
θ =θ
−λ/m
∗∑(h
(x)−
y)∗x
−λ/m
∗θ
θ = θ - λ/m *∑ (h(x)-y)*x - λ/m * θ
θ=θ−λ/
m∗∑(
h(x)
−y)∗
x−λ/
m∗θ優點
適合需要得到乙個分類概率的場景。
計算代價不高，容易理解實現。lrlr
lrl rlr
lr對於資料中小雜訊的魯棒性很好，並且不會受到輕微的多重共線性的特別影響。
缺點
容易欠擬合，分類精度不高。
資料特徵有缺失或者特徵空間很大時表現效果並不好。
產生新資料型：過取樣小樣本(smote)，欠取樣大樣本。
對原資料的權值進行改變。
通過組合整合方法解決。
通過特徵選擇。
邏輯回歸演算法梳理
邏輯回歸演算法梳理 1 邏輯回歸與線性回歸的聯絡與區別 區別 邏輯回歸 值返回的離散值，線性回歸返回的連續值 聯絡 2 邏輯回歸的原理 邏輯回歸就是這樣的乙個過程 面對乙個回歸或者分類問題，建立代價函式，然後通過優化方法迭代求解出最優的模型引數，然後測試驗證我們這個求解的模型的好壞 3 邏輯回歸損失...
邏輯回歸演算法梳理
其原理是將樣本的特徵和樣本發生的概率聯絡起來。優化方法 模型評估指標 在資料極度偏斜的情況下，分類準確度存在問題，比如 癌症，因此只用分類準確度是遠遠不夠的。引入以下指標，優點 缺點 樣本的過取樣和欠取樣 直接基於原始訓練集進行學習，但在用訓練好的分類器進行 時，將y 1 y嵌入到決策過程中，稱為 ...
邏輯回歸演算法梳理
邏輯回歸和線性回歸的聯絡和區別 邏輯回歸和線性回歸都屬於廣義線性回歸模型。二者的區別如下 1.線性回歸要求變數服從正態分佈，邏輯回歸對變數分布沒有要求。2.線性回歸要求因變數是連續性數值變數，而邏輯回歸要求因變數是分型別變數。3.線性回歸要求自變數和因變數呈線性關係，而邏輯回歸不要求。4.線性回歸直...