Logistic Regression 演算法學習

2021-08-09 08:27:48 字數 1102 閱讀 3684

邏輯回歸演算法,可以說是最基本的分類演算法之一,一般為2分類,也可以擴充套件為多分類。下面言簡意賅的溫習該演算法的相關知識點。hθ

(x)=

g(θt

x)=1

1+e−

θtx

理解如下:p(y=1 | x) =

h θh(x),  p(y=0 | x ) = 1-h(x)

這個函式有乙個特點:

(z)=

ddz1

1+e−

z=1(

1+e−

z)2(

e−z)

=1(1

+e−z

)⋅(1

−1(1

+e−z

))=g

(z)(

1−g(

z))g

′(z)

=ddz

11+e

−z=1

(1+e

−z)2

(e−z

)=1(

1+e−

z)⋅(

1−1(

1+e−

z))=

g(z)

(1−g

(z))

首先定義損失函式,常見的損失函式有以下幾種

1.0-1損失函式 (0-1 loss function)  l

(y,f

(x))

={1,

0,y ≠

f(x)

y = f(x)

2.平方損失函式(quadratic loss function)  l

(y,f

(x))

=(y−

f(x)

)2

3.絕對值損失函式(absolute loss function)  l

(y,f

(x))

=|y−

f(x)

| 4.對數損失函式(logarithmic loss function) 或對數似然損失函式(log-likehood loss function)  l

(y,p

(y|x

))=−

logp

(y|x

)

關於Logistic Regression的疑問

1.應用場景 首先要明確的是,logistic regression是用來分類的 與stanford的公開課進行模擬,在該課程中所舉的例子是根據訓練集中房屋的各種feature area,location等 和 來 測試集中的房屋 那麼利用logistic regression就是來 一種值域為 0...

演算法學習 Union Find演算法

union find演算法有它的實際用途。多用於動態連通的應用場景。union find演算法是 給出兩個節點,判斷它們是否連通,如果連通,是不需要給出具體的路徑的 舉兩個例子作為主要表現 1 在網路連線中,當發現沒有連線的兩個節點,可以把他們連線起來,一旦節點都連線起來,又能把多餘的線拆除,這時候...

演算法學習 KM演算法

km演算法 用於求二分圖的最佳完美匹配 即權值最大的完美匹配 如果你也是個剛來學習km演算法的人 大概的用途肯定還是知道的吧 還是直接說重點吧 首先 理解km演算法前 必須有以下3個概念 1.可行頂標 對於乙個賦值二分圖g x,y,e,w x,y 代表二分圖的兩邊頂點標號 e代表邊 w代表邊的權值 ...