筆記 logistic回歸損失函式

2021-09-12 21:05:37 字數 616 閱讀 8100

那麼我們就需要用到訓練集,讓模型進行監督學習,訓練集中包含自變數

為了完成上訴訓練,我們需要知道模型的結果與正確結果的相差幾何,基於此,我們很容易想到可以模仿概率論對方差的定義,構造乙個損失函式用來衡量演算法的執行效果,於是我們可以構造損失函式

這裡需要引入乙個凸優化的概念,如果乙個函式是凸函式,那麼我們很容易就可以取得它的最值(即最優值)。如圖:

通過對函式的導數進行逼近,很容易找到導數為0的那個取值,因為凸函式的特性,這個導數為0的值便是最值,也就可以得到模型最優的取值了。

但是如果函式是非凸函式,如圖:

此時導數為0的點不止乙個,也就沒辦法僅僅通過梯度下降的方法得到最值,那麼計算起來就會很複雜。

本著演算法設計應該以優美、簡潔、適用面廣的原則,非凸函式顯然不適合用來做損失函式的數學模型,那麼理想的損失函式應該就是凸函式。顯然前面提及的損失函式

前面我們已經解決了對於單個訓練樣本**效果的數學表達,並且已經知道,通過調整

logistic回歸 logistic回歸

logistic回歸 logistic回歸分析可用於估計某個事件發生的可能性,這是乙個分類模型而不是乙個回歸模型!它的基本思想是利用一條直線將平面上的點分為兩個部分,即兩個類別,要解決的問題就是如何擬合出這條直線,這個擬合的過程就稱之為 回歸 logistic模型 假設你有乙個需要 的內容,要通過三...

logistic分類(logistic回歸 LR)

幾乎所有的教材都是從logistic分類開始的,因為logistic分類實在太經典,而且是神經網路的基本組成部分,每個神經元 cell 都可以看做是進行了一次logistic分類。所謂logistic分類,顧名思義,邏輯分類,是一種二分類法,能將資料分成0和1兩類。logistic分類的流程比較簡單...

Logistic回歸模型

一 logistic回歸模型 線性回歸模型要求因變數是連續型正態變數。當因變數是分類變數時,logistic回歸模型是最好的回歸模型。由於y只能取兩個值1或0,y的條件數學期望 e y xi 1 p y 1 xi 0 p y 0 xi p y 1 xi 選擇乙個函式,p y 1 x f x logi...