第三週 邏輯回歸代價函式求導過程

2022-06-13 17:00:22 字數 1569 閱讀 7509

第三週課程中,邏輯回歸代價函式的求導過程沒有具體展開,在此推導並記錄:

$j(\theta ) = -\frac\left[\sum_^y^log(h_\theta (x^))+(1-y^)log(1-h_\theta (x^)) \right]$

其中:$h_\theta (x^) = \frac x}}$

為了避免求導過程太冗長複雜,我們做一些顯示的簡化:

$j(\theta ) = -\frac\left[\sum_^k(\theta)\right]$

其中:$k(\theta) = y^log(h_\theta (x^))+(1-y^)log(1-h_\theta (x^))$

$h_\theta (x^) = \frac x}}$

ok,下面開始我們的推導過程:如果要求$j(\theta)$對某乙個引數$\theta$的偏導數,則:

(1)根據求導公式,可以先把常數項$-\frac\sum_^$提取出來,這樣就只需要對求和符號內部的表示式求導,即:

$j(\theta ){}' = -\frac\left[\sum_^k(\theta){}'\right]$

$k(\theta){}' = \left(ylog(h_\theta (x))+(1-y)log(1-h_\theta (x))\right ){}'$(為方便顯示,先把右上角表示第i個樣本的上標去掉) 

(2)根據對數復合求導公式,$log(x){}' = \fracx{}'$,對$k(\theta)$繼續求導可得:

$k(\theta){}' = y\frach_\theta (x){}'+(1-y)\frac(1-h_\theta (x)){}'$

(3)根據冪函式復合求導公式,$(y^){}' = xy^x{}'$,及以e為底的指數求導公式,對$h_\theta(x)$繼續求導可得:

$h_\theta (x){}' = \left( \frac x}} \right){}'=-\frac x}){}'} x})^} = \fracx}(\theta^\mathrm x){}'} x})^} = \left(\fracx}}(1-\fracx}})\right)(\theta^\mathrmx){}' = h_\theta(x)(1-h_\theta(x))(\theta^\mathrmx){}'$

同理,$(1-h_\theta (x)){}'= -\fracx}(\theta^\mathrm x){}'} x})^} = -h_\theta(x)(1-h_\theta(x))(\theta^\mathrmx){}'$

(4)把步驟3的結果帶入步驟2,化簡後可得:

$k(\theta){}' = (y-h_\theta(x))(\theta^\mathrmx){}'$

再把上面結果帶入步驟1,化簡後可得:

$j(\theta){}' = \frac\left[\sum_^(h_\theta(x)-y)(\theta^\mathrmx){}'\right]$

最後$(\theta^\mathrmx){}'$,對第j個$\theta$求偏導,結果即$x_$(j表示樣本中第幾項),得到最終結果:

$\frac} = \frac\left[\sum_^(h_\theta(x^)-y^)x_^\right]$

第三週 Day2 Python函式

1.什麼是返回值 從函式內部傳遞到函式外部的資料就是函式返回值。2.什麼時候函式需要返回值 如果實現函式的功能產生了新的資料,那麼這個函式就需要通過返回值把新產生的資料返回。3.怎麼將資料返回 1 怎麼確定函式返回值 返回值就是return關鍵字後面的值。如果沒有return,預設返回none 2 ...

人生苦短我用Python 第三週 函式周

函式的定義 1,def 函式名 引數1,引數2.注釋 函式的作用和引數,增加可讀性 2,函式體 3,返回值 最簡單的函式 def func print hello world 函式名後的括號內的引數的順序是 位置引數,args,預設引數,kwargs 函式的呼叫 函式名 def func print...

計算機組成第三週 算術邏輯單元

現代積體電路中通常使用mos電晶體 metal oxide semiconductor 金屬 氧化物 半導體 cmos積體電路 complementary mos 由pmos和nmos共同構成的互補型mos積體電路 d觸發器 d flip flop,dff 例 取樣後經過1秒,傳送到輸出 clk t...