邏輯回歸演算法梳理

1、邏輯回歸與線性回歸的區別和聯絡

1）線性回歸要求變數服從正態分佈，logistic回歸對變數分布沒有要求。 2）線性回歸要求因變數是連續性數值變數，而logistic回歸要求因變數是分型別變數。 3）線性回歸要求自變數和因變數呈線性關係，而logistic回歸不要求自變數和因變數呈線性關係 4）logistic回歸是分析因變數取某個值的概率與自變數的關係，而線性回歸是直接分析因變數與自變數的關係

2、邏輯回歸的原理

邏輯回歸是利用回歸類似的方法來解決分類問題。假設有乙個二分類問題，輸出y，而線性模型（下文將展示這個模型）的的**值z是實數值，我們希望找到乙個階躍函式將實數z對映為，這樣我們就能很好的處理分類問題了。那麼邏輯回歸中是使用什麼函式來進行對映的呢？就是sigmoid函式

sigmoid函式的影象：

sigmoid函式中的z就是線性函式的z，因為g(z)最後輸出的時樣本類別的概率值，所以我們可以把閾值設為0.5，g(z)大於等於0.5的看作1，小於0.5的看作0，這樣我們就能利用邏輯回歸來處理二分類問題了。分類結果就是這樣子的。

那我們現在的問題就是怎樣計算得到線性函式的模型，也就是我們上文提到輸出為z的線性模型。為了使模型能分類更準確，我們需要得出乙個最優的線性模型函式。也就是下圖所示的公式。如何讓這個引數達到最優呢？我們就要對每個x找到最優的引數，這也是我們接下來要求解的問題。

此時我們可以先將線性模型和sigmoid函式結合起來構造邏輯回歸的**函式：

通常求解回歸問題(也就是上面的線性問題)的常規步驟為三步：

1.尋找**函式(x)

2.構造損失函式j()

3.想辦法使得j()函式最小並求得回歸引數θ

構造損失函式

上面我們已經寫出了輯回歸的**函式，所以下一步我們要構造損失函式j()。構造損失函式j()我們可能會先想到模仿線性回歸中的平方誤差作為損失函式，但是如果使用平方誤作損失函式的話我們得到的損失函式就是乙個非凸函式，這就意味著損失函式有許多區域性最優解，就不能得到全域性最優的。

非凸函式（左）凸函式（右）

那我們就要構造其他的損失函式了。我們再來看問題本身，我們要解決的時二分類問題，函式的值有特殊的含義，它表示結果取1的概率，因此對於輸入x分類結果為類別1和類別0的概率分別為：

y（標籤）要麼取0要麼取1，這樣就可以把兩個類別進行整合，得到乙個更直觀的表達。

此時p就是某個樣本的概率值，我們只要最大化樣本的概率就可以得到最好的分類模型了。接下來我們用極大似然函式來求解樣本的概率值p

為了簡化運算，我們讓等式的兩邊都取對數，對數似然函式為：

這裡就是用極大似然估計來求最優的θ。最大似然估計就是求使l(θ)取最大值時的θ，其實這裡可以使用梯度上公升法求解，求得的θ就是要求的最佳引數。因為在很多其它的講解中都是用梯度下降來求解l(θ)，是因為它們在前l(θ)加了乙個負號,使j(θ)=-l(θ)，此時就是用梯度下降來求j(θ)了。這裡我們使用梯度下降來求解。如果你想用梯度上公升求解也沒問題。

梯度下降法求的最小值

θ更新過程：

θ更新過程可以寫成：

3、邏輯回歸損失函式推導及優化

假設函式

hθ(x)=11+e−θtx(假設函式)

(假設函式)hθ(x)=11+e−θtx

用於二分類

p(x)=, 預設：liblinear。選用的優化器。 max_iter=100, 引數型別：int，預設：100。迭代次數。 multi_class='warn', 引數型別：str，可選：，預設：ovr。如果選擇的選項是'ovr'，那麼二進位制問題適合每個標籤。對於「多項式」，最小化的損失是整個概率分布中的多項式損失擬合，即使資料是二進位制的。當solver ='liblinear'時，'multinomial'不可用。如果資料是二進位制的，或者如果solver ='liblinear'，'auto'選擇'ovr'，否則選擇'multinomial'。 verbose=0, 引數型別：int，預設：0。對於liblinear和lbfgs求解器，將詳細設定為任何正數以表示詳細程度。 warm_start=false, 引數型別：bool，預設：false。是否使用之前的優化器繼續優化。 n_jobs=none，引數型別：bool，預設：none。是否多執行緒 )

邏輯回歸演算法梳理

邏輯回歸演算法梳理

邏輯回歸演算法梳理

邏輯回歸演算法梳理

相關推薦