Andrew Ng ML 第八章 正則化

2022-05-09 05:48:12 字數 904 閱讀 6974

過度擬合,因為有太多的特徵+過少的訓練資料,學習到的假設可能很適應訓練集,但是不能泛化到新的樣例。即泛化generalize能力差。

解決辦法:

1.手動/使用選擇演算法來確定保留的特徵。

2.當所有的特徵都對結果有一定貢獻時,需要正則化,保留所有特徵,但是降低θ的量級或者值。

在代價函式中加入懲罰項(正則化項),即對所有係數平方求和,乘上懲罰係數,這樣就會降低各係數的量級,從而使分類模型形式更加簡單,更簡單的意思在這裡可以理解為,像是**房價的,如果多了三次項和四次項,但是通過加上懲罰項之後求出來的θ3和θ4就會很小,從而使曲線光滑趨近於二次曲線。

但是如果設定懲罰係數lamda過大的話,會出現所有的theta1,theta2......theta100,都會被小到忽略。

在代價函式裡加上了正則項,從而在遞迴下降求解時的公式也發生了改變,如下:

i表示第幾個樣本,j表示乙個樣本內的指標序號。

邏輯回歸梯度下降迭代時,即如圖。

邏輯回歸代價函式加上的懲罰項是lamda/2*m(σtheta j ^2)。

第八章 指標 第八章 指標

1 什麼是位址 include using namespace std int main 11 在堆中建立對像 我們既然可以在堆中儲存變數,那麼也就可以儲存對像,我們可以將對像儲存堆中,然後通過指標來訪問它 include using namespace std class human 14 在建構...

第八章(筆記)

能在 中進行記憶體單元的定址的暫存器只有4個,分別是bx si di bp 其中bx bp 是基址,bx對應的段位址是ds,bp對應的段位址是ss si di 是變址,單獨使用時段位址是ds,組合使用段位址是跟隨組合的基址對應的段位址 中進行記憶體單元定址彙總 si di bx bp 常量 si 常...

第八章 字典

d 空字典 d 這就是字典 d dict.fromkeys a b d dict zip keyslist,valslist d dict name bob age 22 建立字典的函式 d name 通過索引key獲取對應的value d.keys 返回d字典物件所有key,返回乙個列表 d.va...