《機器學習基石》 邏輯回歸

2022-08-02 05:48:09 字數 1301 閱讀 9619

(注:本文內容和**於林軒田老師的《機器學習基石》課程)

通常的二分類問題,希望輸出類別;soft的二分類問題,希望輸出概率值:

對於soft問題的理想資料和實際資料:

邏輯回歸的思想:先求出特徵的線性加權分數,再把它用邏輯斯蒂函式轉化為0~1之間的值:

邏輯斯蒂函式介紹:

最大似然:將訓練集產生的概率最大化:

運用邏輯斯蒂函式的性質:

可以得到:

因此問題就變為,選擇合適的邏輯回歸模型h,使得似然函式最大化:

把邏輯回歸模型代進去,具體來說,就是:

兩邊取對數:

最後得到最終形式:

現在的問題是:

用迭代來求最優化問題,如下(其中v是乙個單位向量):

梯度下降的思想是:每次更新完以後,函式值盡可能下降到最低。因此相當於:

將式子泰勒展開:

則最小化問題變為:

前面一項是已知的,為了將最後一項向量內積最小化,v應該等於:

(即與梯度相反,再單位化)

η的選擇:

因此η應該隨梯度動態變化,假設η正比於梯度的大小:

因此,我們就能得到最後的形式。

機器學習 邏輯回歸

邏輯回歸 線性回歸的式子,作為邏輯回歸的輸入 適用場景 二分類 線性回歸的輸入 sigmoid函式 分類 0,1 概率值 計算公式 當目標值為1時 損失函式的變化 當目標值為0時 損失函式的變化 下面用乙個例項來說明邏輯回歸的用法 癌症概率 部分資料的截圖如下 資料描述 699條樣本,供11列資料,...

機器學習 邏輯回歸

coding utf 8 import pandas as pd import seaborn as sns from sklearn.model selection import train test split import matplotlib.pyplot as plt 用於畫圖 from ...

機器學習 邏輯回歸

lr指的是logistic regression,邏輯回歸。而不是linear regression,線性回歸,不要問為什麼,記住它就好了,haha。它是一種監督學習分類演算法,不是回歸演算法!這裡千萬要注意啦。lr常用於二分類問題,0或者1 假如我們有一堆二維資料,也就是這堆資料有2個特徵x1和x...