常見的廣義線性模型有：probit模型、poisson模型、對數線性模型等等。對數線性模型裡有：logistic regression、maxinum entropy。
在二分類問題中，為什麼棄用傳統的線性回歸模型，改用邏輯斯蒂回歸？
線性回歸用於二分類時，首先想到下面這種形式，p是屬於類別的概率：
但是這時存在的問題是：
1、等式兩邊的取值範圍不同，右邊是負無窮到正無窮，左邊是[0,1]
2、實際中的很多問題，都是當x很小或很大時，對於因變數p的影響很小，當x達到中間某個閾值時，影響很大。即實際中很多問題，概率p與自變數並不是直線關係。
邏輯回歸模型的求解過程？ ==>目標函式(損失函式)的推導過程
邏輯回歸中，y服從二項分布，誤差服從二項分布，而非高斯分布，所以不能用最小二乘進行模型引數估計，可以用極大似然估計來進行引數估計。
**函式：
似然函式：這裡負類的label為0，如果負類的label為-1的話，將$y_i$ 變為$(1+y_i) / 2$,將$1 - y_i$變為$(1-y_i) / 2$,帶入下列似然函式即可
對數似然函式，優化目標函式如下：
為什麼我們在實際中，經典線性模型的優化目標函式是最小二乘，而邏輯回歸則是似然函式？
1） 經典線性模型的滿足下面等式：
這裡有個假設，即最後這個誤差擾動項獨立同分布於均值為0的正態分佈，即：
從而：由於有上面的假設，從而就有下面的似然函式：
從而這線性回歸的問題就可轉化為最大化下面的對數似然估計，由於下面公式前面的項是常數，所以這個問題等價於最小化下面等式中的最後一項，即least mean squares。
2）邏輯斯蒂回歸中，因變數y不再是連續的變數，而是二值的，中間用到logit變換，將連續性的y值通過此變換對映到比較合理的0~1區間。在廣義線性回歸用於分類問題中，也有乙個假設（對應於上面回歸問題中誤差項獨立同分布於正態分佈），其中h(x)是logistic function
即，給定x和引數，y服從二項分布，上面回歸問題中，給定x和引數，y服從正態分佈。從而
問題不同（乙個是分類、乙個是回歸）對應假設也就不同，決定了logistic regression問題最優化目標函式是上面這項，而非回歸問題中的均方誤差lms。
參考：
廣義線性模型和線性回歸
首先術語廣義線性模型 glm 通常是指給定連續和 或分類 變數的連續響應變數的常規線性回歸模型。它包括多元線性回歸，以及anova和ancova 僅具有固定效果 形式為 yi n x 2 其中xi包含已知的協變數，包含要估計的係數。這些模型使用最小二乘和加權最小二乘擬合。術語廣義線性模型 glim或...
廣義線性模型之線性回歸（一）
注 本文若沒特殊宣告，所有截圖均來自cs229 machine learning lecture notes 1 監督學習中，最常見的是線性回歸和分類問題。然而，我們熟知的linear regression和logistic regression這兩個機器學習演算法其實只是乙個更廣泛的模型famil...
廣義線性模型及softmax回歸
看了 以下是廣義線性模型的內容 1 指數家族 當固定t時，這個分布屬於指數家族中的哪種分布就由a和b兩個函式決定。下面這種是伯努利分布，對應於邏輯回歸問題 注 從上面可知 下面這種是高斯分布，對應於經典線性回歸問題 2 glm 廣義線性模型 指數家族的問題可以通過廣義線性模型來解決。如何構建glm呢...