$$p(x;\eta)=b(x)e^$$
1.待遇測變數 \(y\) 在給定 \(x\) 和引數 \(\theta\) 時服從以 \(\eta\) 為引數的指數族分布
2.模型的目的是**給定 \(x\) 情況下 \(y\) 的期望
3.\(\eta=\theta^tx\),若 \(\eta\) 為向量，則 \(\eta_i=\theta_i^tx\)
假設待遇測變數 \(y\) 服從方差為1的高斯分布
$$\beginp(y|\mu,x)=&\frac}e^}\\ =& \frac}e^y^2}e^\mu^2)}\end$$
可得$$b(y)=\frac}e^y^2}$$
$$\eta=\mu$$
$$\alpha(\eta)=-\frac\eta^2$$
因此$$p(y|\theta,x)=\frac}e^}$$
給定訓練樣本，由最大似然即可得到線性回歸的目標函式
$$j=\sum_i(y_i - \theta^tx_i)^2$$
邏輯回歸假定待**變數服從伯努利分布
$$\beginp(y|x,\varphi)=&\varphi^y(1-\varphi)^\\ =& e^-log(1-\varphi)}\end$$
可得$$b(y)=1$$
$$\eta=log\frac$$
$$\alpha(\eta)=-log(1-\varphi)$$
可推導出
$$p(y|\theta,x)=sigmoid(\theta^tx)$$
給定訓練樣本由最大似然即可得到邏輯回歸的目標函式
$$j=\sum_i [y_i(\theta^tx)-log(1+e^)]$$
廣義線性模型和線性回歸
首先術語廣義線性模型 glm 通常是指給定連續和 或分類 變數的連續響應變數的常規線性回歸模型。它包括多元線性回歸，以及anova和ancova 僅具有固定效果 形式為 yi n x 2 其中xi包含已知的協變數，包含要估計的係數。這些模型使用最小二乘和加權最小二乘擬合。術語廣義線性模型 glim或...
廣義線性模型之線性回歸（一）
注 本文若沒特殊宣告，所有截圖均來自cs229 machine learning lecture notes 1 監督學習中，最常見的是線性回歸和分類問題。然而，我們熟知的linear regression和logistic regression這兩個機器學習演算法其實只是乙個更廣泛的模型famil...
廣義線性模型
廣義線性模型是線性模型的擴充套件，主要是對非正態因變數的分析 廣義線性擬合的核心是最大似然估計，而不是最小二乘 擬合模型如下 y 0 pj 1 jx j 其中，beta是係數，mu是優勢比的對數，beta係數是對優勢比的影響。通過擬合求得的就是 我們可以通過兩個例子看一下兩種變數 類別型 自變數x ...