前面一節，介紹了神馬是sigmoid函式。
其實他的本質，根據doctor wu所示，就是y=wtx+b
機器學習的重點就是能夠算出wt和b兩個不同的引數，進行模擬。
損失函式，不知道為啥，doctor wu瞬間就拿出了平方差這個方法，上網搜尋了下，對於損失函式，還是有幾種選擇。請檢視。
機器學習或者統計機器學習常見的損失函式如下：
1.0-1損失函式 （0-1 loss function） l
(y,f
(x))
={1,
0,y ≠
f(x)
y = f(x)
2.平方損失函式（quadratic loss function) l
(y,f
(x))
=(y−
f(x)
)2
3.絕對值損失函式(absolute loss function) l
(y,f
(x))
=|y−
f(x)
| 4.對數損失函式（logarithmic loss function) 或對數似然損失函式(log-likehood loss function) l
(y,p
(y|x
))=−
logp
(y|x
) 邏輯回歸中，採用的則是對數損失函式。如果損失函式越小，表示模型越好。
根據上面的內容，我們可以得到邏輯回歸的對數似然損失函式cost function： c
ost(
hθ(x
),y)
={−l
og(h
θ(x)
)−lo
g(1−
hθ(x
))if y=1
if y=0
稍微解釋下這個損失函式，或者說解釋下對數似然損失函式：
當y=1時，假定這個樣本為正類。如果此時hθ
(x)=
1 ,則單對這個樣本而言的cost=0,表示這個樣本的**完全準確。那如果所有樣本都**準確，總的cost=0
但是如果此時**的概率hθ
(x)=
0 ，那麼co
st→∞
。直觀解釋的話，由於此時樣本為乙個正樣本，但是**的結果p(
y=1|
x;θ)
=0, 也就是說** y=1的概率為0，那麼此時就要對損失函式加乙個很大的懲罰項。
當y=0時，推理過程跟上述完全一致，不再累贅。
將以上兩個表示式合併為乙個，則單個樣本的損失函式可以描述為： c
ost(
hθ(x
),y)
=−yi
log(
hθ(x
))−(
1−yi
)log
(1−h
θ(x)
) 因為 yi
只有兩種取值情況，1或0，分別令y=1或y=0，即可得到原來的分段表示式。
全體樣本的損失函式可以表示為： c
ost(
hθ(x
),y)
=∑i=
1m−y
ilog
(hθ(
x))−
(1−y
i)lo
g(1−
hθ(x
))
這就是邏輯回歸最終的損失函式表示式
好了，上面就是具體的推導，其實成本函式就是對損失函式的求和。但是至於具體如何使用，博主還是不太清楚，在下面的學習中，我會弄懂，究竟是如何利用成本損失函式進行機器學習。
第二章 第三節 成本函式和損失函式是什麼鬼
究竟神馬是成本函式，神馬是損失函式呢？直接拿來主義，因為這篇寫得比較好 前言 損失函式是機器學習裡最基礎也是最為關鍵的乙個要素，通過對損失函式的定義 優化，就可以衍生到我們現在常用的lr等演算法中 本文是根據個人自己看的 統計學方法 斯坦福機器學習課程 及日常工作對其進行的一些總結。因為才疏學淺，如...
第二章 第三節
cpu訪問記憶體單元時要給出記憶體單元的位址，所有的記憶體單元構成的儲存空間是乙個一維的線性空間，我們將這個唯一的位址成為實體地址。概括的講，16位的cpu具有以下幾個方面特徵 1 運算器一次最多可以處理16位的資料。2 暫存器的最大寬度為16位。3 暫存器和運算器之間的通路為16位。8086有20...
第二章 第三節 運算子（一）
零 算術運算子 顧名思義，算術運算子就是用來進行算數運算的一些符號。那麼算術運算子包含哪些呢？除了有我們常用的加 減 乘 除外，還有取模 冪 取整除，這些運算子的解釋詳解見下表。設定變數 x 1，y 2 運算子名稱 說明例子 加 兩個物件相加 x y 輸出結果為3 減 乙個數減去另乙個數 y x 輸...