李巨集毅機器學習之邏輯回歸筆記

2022-05-04 12:45:13 字數 993 閱讀 8118

x 和 w 都是向量,可以從樸素貝葉斯推出來這個公式

)假設每個樣本都是基於$$f_(x)=p_\left(c_ \mid x\right)$$ 該函式,所以可以得到訓練資料的可能性函式,使之最大的引數就是最好的引數。

)將函式取log,並且轉化為求最小值的問題,將c1,c2換為取值為0,1的y1, y2

)經過轉換得到兩個變數的交叉熵公式,也可以理解為損失函式,將其最小值最為優化的目標

)對損失函式求導,得到變形

)對 w 求偏導

)採用概率模型找到\(\mu\) 和 協方差的方法稱為生成法,通過邏輯回歸直接找到w 和 b的方法稱為discriminative,

李巨集毅機器學習 回歸 讀書筆記

大二小白,剛剛接觸機器學習。如果有任何問題,希望各位批評指正。互相關注,共同進步呀。stochastic gradient descent 隨機梯度下降演算法 feature scaling 特徵縮放 arg min l loss function parameters 在上節課說道,我們在得出最後...

李巨集毅機器學習 學習筆記

function set就是model 機器學習3大步驟 1.定義模型 function 集合 2.指定模型 function 好壞的評價指標 3.通過演算法選擇到最佳的模型 function alphago下棋模型抽象為棋局向下一步的分類問題 減少擁有label的data用量的方法 1.semi ...

李巨集毅機器學習 1 回歸

案例學習 寶可夢的cp值 step 2 goodness of function step3 best function w 1 w 0 eta frac 多次迭代直到達到極小值 對於有多個引數的模型,將微分改為偏微分,分別更新每個引數,以兩個引數 w 和 b 為例 存在的問題 saddle poi...