Logistic回歸原理介紹

2021-07-11 08:14:33 字數 1579 閱讀 1699

根據線性回歸可以**連續的值,對於分類問題,我們需要輸出0或者1。所以,在分類模型中需要將連續值轉換為離散值。我們可以**:

logistic回歸模型的輸出變數範圍始終在0和1之間,logistic回歸模型的假設為:hθ

(x)=

g(θt

x)其中: g

(z)=

11+e

−z該函式的影象為:

所以,整個模型的假設為:hθ

(x)=

11+e

−θtx

該假設函式hθ

(x) 的作用是,對於給定的輸入變數,根據已經訓練好的模型引數計算出輸出變數=1的可能性(estimated probability),即hθ

(x)=

p(y=

1|x;

θ)在logistic回歸中,我們**:

根據上面繪製的s形函式圖象,當

其中,z=

θtx ,即:

可以觀察到z=

θtx 與線性回歸非常相似,該函式所表示的線(面)就是logistic回歸中分界線,即判定邊界(decision boundary)。針對不同的資料分布,我們可以用非常複雜的模型來適應形狀判定邊界。j(

θ)=1

m∑i=

1mco

st(h

θ(x(

i)),

y(i)

) 其中cost()函式定義為:co

st(h

θ(x)

,y)=

{−lo

g(hθ

(x))

−log

(1−h

θ(x)

)y=1

y=0

將構建的cost()函式簡化如下:co

st(h

θ(x)

,y)=

−ylo

g(hθ

(x))

−(1−

y)lo

g(1−

hθ(x

))帶入代價函式可得到代價函式表示式為:j(

θ)=−

1m[∑

i=1m

y(i)

log(

hθ(x

(i))

)+(1

−y(i

))lo

g(1−

hθ(x

(i))

)]仍然採用梯度下降法求代價函式的區域性最小值:θj

:=θj−

α∂∂θ

jj(θ

) 求導後得到迭代過程:θj

:=θj−

α∑i=

1m(h

θ(x(

i)−y

(i))

x(i)

j simultaneously update θj

for j=

0,1…

n .

注:雖然得到的梯度下降演算法表面上看去與線性回歸一樣, 但是這裡的hθ

(x)=

g(θt

x)與線性回歸中不同,所以實際上是不一樣的。

另外,在執行梯度下降演算法之前,進行特徵縮放依舊是非常必要的

logistic回歸 logistic回歸

logistic回歸 logistic回歸分析可用於估計某個事件發生的可能性,這是乙個分類模型而不是乙個回歸模型!它的基本思想是利用一條直線將平面上的點分為兩個部分,即兩個類別,要解決的問題就是如何擬合出這條直線,這個擬合的過程就稱之為 回歸 logistic模型 假設你有乙個需要 的內容,要通過三...

logistic分類(logistic回歸 LR)

幾乎所有的教材都是從logistic分類開始的,因為logistic分類實在太經典,而且是神經網路的基本組成部分,每個神經元 cell 都可以看做是進行了一次logistic分類。所謂logistic分類,顧名思義,邏輯分類,是一種二分類法,能將資料分成0和1兩類。logistic分類的流程比較簡單...

Logistic回歸模型

一 logistic回歸模型 線性回歸模型要求因變數是連續型正態變數。當因變數是分類變數時,logistic回歸模型是最好的回歸模型。由於y只能取兩個值1或0,y的條件數學期望 e y xi 1 p y 1 xi 0 p y 0 xi p y 1 xi 選擇乙個函式,p y 1 x f x logi...