機器學習筆記 再談廣義線性模型

2021-09-25 04:55:20 字數 2003 閱讀 6492

前文從線性回歸和 logistic 回歸引出廣義線性回歸的概念,很多人還是很困惑,不知道為什麼突然來個廣義線性回歸,有什麼用?只要知道連續值**就用線性回歸、離散值**就用 logistic 回歸不就行了?還有一些概念之間的關係也沒理清,例如線性回歸和高斯分布、logistic 回歸和伯努利分布、連線函式和響應函式。

這種困惑是可以理解的,前文為了引導快速入門,從實戰解題的角度推出了答案,但對其背後的概率假設解釋不足,雖然線性回歸專門開闢一節來介紹高斯分布假設,但很多人誤以為這一節的目的只是為了證明最小均方誤差的合理性,logistic 回歸的伯努利分布假設也需做解釋。

線性回歸是建立在高斯分布的假設上,logistic 回歸是建立在伯努利分布的假設上。如果不能從概率的角度理解線性回歸和 logistic 回歸,就不能公升一級去理解廣義線性回歸,而廣義線性模型就是要將其它的分布也包納進來,提取這些分布模型的共同點,成為乙個模型,這樣再遇到其它分布,如多項式分布、泊松分布、伽馬分布、指數分布、貝塔分布和 dirichlet 分布等,就可以按部就班地套模型進行計算了。

有些同學不明白的是,「當給定引數 θ 和 x 時,目標值 y 也服從正態分佈」,這裡 y 服從的是均值為 θtx 的正態分佈,當我們訓練得到引數 θ 後,那麼對於不同的 x 值,y 服從的就是不同均值的正態分佈。伯努利分布也一樣。

要想掌握廣義線性模型,得親自動手做乙個例項。

下面我們從概率的角度重新審視線性回歸、logistic 回歸,來加深對廣義線性模型的理解。

先說線性回歸,假設是 y(i)|x(i);θ~n(θtx(i),σ2),因為 σ2 對 θ 值和 hθ(x) 值沒有影響,所以我們不妨設 σ2=1,那麼

把該高斯分布寫成指數分布簇的形式:

可得:

根據廣義線性模型的假設,得:

其中 hθ(x)=η 就是響應函式,其反函式就是連線函式。

如果我們有 m 個例子的訓練集 ,想要學習這個模型的引數 θ,log 似然函式為:

然後最大化該函式即可得解。

再來看 logistic 回歸,假設是給定 x 和 θ 後的 y 服從伯努利分布。

p(y;φ)=φy(1-φ)1-y

把該伯努利分布寫成指數分布簇的形式:

可得:

根據廣義線性模型的假設,得:

其中 hθ(x)=1/(1+e-η) 就是響應函式,其反函式就是連線函式。

如果我們有 m 個例子的訓練集 ,想要學習這個模型的引數 θ,log 似然函式為:

然後同樣最大化該函式即可得解。

由此,大致可得使用廣義線性模型的步驟:

1、分析資料集,確定概率分布型別;

2、把概率寫成指數分布簇的形式,並找到對應的 t(y)、η、e(y;x) 等。

3、寫出 log 最大似然函式,不同的分布所使用的連線函式不一樣,並找到使該似然函式最大化的引數值。

機器學習筆記 再談廣義線性模型

前文從線性回歸和 logistic 回歸引出廣義線性回歸的概念,很多人還是很困惑,不知道為什麼突然來個廣義線性回歸,有什麼用?只要知道連續值 就用線性回歸 離散值 就用 logistic 回歸不就行了?還有一些概念之間的關係也沒理清,例如線性回歸和高斯分布 logistic 回歸和伯努利分布 連線函...

機器學習 線性回歸到廣義線性模型

1.2線性回歸模型 1.3目標函式 損失函式 1.4最小二乘法 1.5 sklearn用法 1.6 區域性加權線性回歸 1.7 總結 2 邏輯斯特回歸 logistic regression 3 廣義線性模型 generalized linear models 構建的模型由線性函式組成的回歸問題就可...

廣義線性模型

廣義線性模型是線性模型的擴充套件,主要是對非正態因變數的分析 廣義線性擬合的核心是最大似然估計,而不是最小二乘 擬合模型如下 y 0 pj 1 jx j 其中,beta是係數,mu是優勢比的對數,beta係數是對優勢比的影響。通過擬合求得的就是 我們可以通過兩個例子看一下兩種變數 類別型 自變數x ...