logistic回歸雖然名字叫」回歸」 ，但卻是一種分類學習方法。使用場景大概有兩個：第一用來**，第二尋找因變數的影響因素。
線性回歸和logistic回歸都是廣義線性模型的特例。
假設有乙個因變數y和一組自變數x1, x2, x3, … , xn，其中y為連續變數，我們可以擬合乙個線性方程：
y =β0 +β1x1 +β2x2 +β3x3 +…+βnxn
並通過最小二乘法估計各個β係數的值。
如果y為二分類變數，只能取值0或1，那麼線性回歸方程就會遇到困難: 方程右側是乙個連續的值，取值為負無窮到正無窮，而左側只能取值[0,1]，無法對應。為了繼續使用線性回歸的思想，統計學家想到了乙個變換方法，就是將方程右邊的取值變換為[0,1]。最後選中了logistic函式：
y = 1 / (1+e-x)
這是乙個s型函式，值域為(0,1)，能將任何數值對映到(0,1)，且具有無限階可導等優良數學性質。
我們將線性回歸方程改寫為：
y = 1 / (1+e-z),
其中，z =β0 +β1x1 +β2x2 +β3x3 +…+βnxn
此時方程兩邊的取值都在0和1之間。
進一步數學變換，可以寫為：
ln(y/(1-y)) =β0 +β1x1 +β2x2 +β3x3 +…+βnxn
ln(y/(1-y))稱為logit變換。我們再將y視為y取值為1的概率p(y=1)，因此，1-y就是y取值為0的概率p(y=0)，所以上式改寫為：
p(y=1) = ez/(1+ez),
p(y=0) = 1/(1+ez),
其中，z =β0 +β1x1 +β2x2 +β3x3 +…+βnxn.
接下來就可以使用」最大似然法」估計出各個係數β。
odds: 稱為機率、比值、比數，是指某事件發生的可能性(概率)與不發生的可能性（概率）之比。用p表示事件發生的概率，則：odds = p/(1-p)。
or：比值比，為實驗組的事件發生機率(odds1)/對照組的事件發生機率(odds2)。
我們用乙個例子來說明，這個例子中包含200名學生資料，包括1個自變數和4個自變數：
因變數: hon，表示學生是否在榮譽班(honors class)，1表示是，0表示否；
自變數：
female ：性別，分類變數，1=女，0=男
read: 閱讀成績，為連續變數
write: 寫作成績，為連續變數
math：數學成績，為連續變數
1、不包含任何變數的logistic回歸
首先擬合乙個不包含任何變數的logistic回歸，
模型為 ln(p/(1-p) =β0
hon取值為1的概率p為49/(151+49) = 24.5% = 0.245，我們可以手動計算出ln(p/(1-p) = -1.12546，等於係數β0。可以得出關係：
β0=ln(odds)。
2、包含乙個二分類因變數的模型
擬合乙個包含二分類因變數female的logistic回歸，
模型為 ln(p/(1-p) =β0 +β1* female.
在解讀這個結果之前，先看一下hon和female的交叉表：
3、包含乙個連續變數的模型根據這個交叉表，
對於男性（male），其處在榮譽班級的概率為17/91，
處在非榮譽班級的概率為74/91，所以其處在榮譽班級的機率odds1=(17/91)/(74/91) = 17/74 = 0.23；
相應的，女性處於榮譽班級的機率odds2 = (32/109)/(77/109)=32/77 = 0.42。
女性對男性的機率之比or = odds2/odds1 = 0.42/0.23 = 1.809。
我們可以說，女性比男性在榮譽班的機率高80.9%。
回到logistic回歸結果。
截距的係數-1.47是男性odds的對數（因為男性用female=0表示，是對照組），ln(0.23) = -1.47。
變數female的係數為0.593，是女性對男性的or值的對數，ln(1.809) = 0.593。
所以我們可以得出關係: or = exp(β)，或者β= ln(or)（exp(x)函式為指數函式，代表e的x次方）。
3、包含乙個連續變數的模型
擬合乙個包含連續變數math的logistic回歸，
模型為 ln(p/(1-p) =β0 +β1* math.
這裡截距係數的含義是在榮譽班中math成績為0的odds的對數。我們計算出odds = exp(-9.793942) = .00005579，是非常小的。因為在我們的資料中，沒有math成績為0的學生，所以這是乙個外推出來的假想值。
怎麼解釋math的係數呢？根據擬合的模型，有：
ln(p/(1-p)) = - 9.793942 + .1563404*math
我們先假設math=54，有：
ln(p/(1-p))(math=54) = - 9.793942 + .1563404 *54
然後我們把math提高提高乙個單位，令math=55，有：
ln(p/(1-p))(math=55) = - 9.793942 + .1563404 *55
兩者之差：
ln(p/(1-p))(math=55) - ln(p/1-p))(math = 54) = 0.1563404.
正好是變數math的係數。
由此我們可以說，math每提高1個單位，odds（即p/(1-p)，也即處於榮譽班的機率）的對數增加0.1563404。
那麼odds增加多少呢？根據對數公式：
ln(p/(1-p))(math=55) - ln(p/1-p))(math = 54) = ln((p/(1-p)(math=55)/ (p/(1-p)(math=54))) = ln(odds(math=55)/ odds(math=54)) = 0.1563404.
所以：odds(math=55)/ odds(math=54) = exp(0.1563404) = 1.169.
因此我們可以說，math每公升高乙個單位，odds增加16.9%。且與math的所處的絕對值無關。
聰明的讀者肯定發現，odds(math=55)/ odds(math=54)不就是or嘛！
4、包含多個變數的模型（無互動效應）
擬合乙個包含female、math、read的logistic回歸，
模型為 ln(p/(1-p) = β0 +β1* math+β2* female+β3* read.
該結果說明:
（1） 性別：在math和read成績都相同的條件下，女性（female=1）進入榮譽班的機率（odds）是男性（female=0）的exp(0.979948) = 2.66倍，或者說，女性的機率比男性高166%。
（2） math成績：在female和read都相同的條件下，math成績每提高1，進入榮譽班的機率提高13%（因為exp(0.1229589) = 1.13）。
（3）read的解讀類似math。
5、包含互動相應的模型
擬合乙個包含female、math和兩者互動相應的logistic回歸，
模型為 ln(p/(1-p) =β0 +β1* female+β2* math+β3* female *math.
所謂互動效應，是指乙個變數對結果的影響因另乙個變數取值的不同而不同。
注意：female*math項的p為0.21，可以認為沒有互動相應。但這裡我們為了講解互動效應，暫時忽略p值，姑且認為他們是存在互動效應的。
由於互動效應的存在，我們就不能說在保持math和female*math不變的情況下，female的影響如何如何，因為math和female*math是不可能保持不變的!
對於這種簡單的情況，我們可以分別擬合兩個方程，
對於男性（female=0）：
log(p/(1-p))= β0 + β2*math.
對於女性（female=1）：
log(p/(1-p))= (β0 + β1) + (β2 + β3 )*math.
然後分別解釋。
線性回歸計算回歸係數
線性回歸 優點 結果易於理解，計算上不複雜 缺點 對非線性的資料擬合不好 適用資料型別 數值型和標稱型資料 標稱型資料 一般在有限的資料中取，而且只存在 是 和 否 兩種不同的結果 一般用於分類 數值型資料 可以在無線的資料中取，而且數值比較具體化，例如4.02,6.23這種值 一般用於回歸分析 回...
Logistics回歸綜述
其實，logistics回歸是從最簡單的線性回歸裡面發展出來的，它是廣義線性回歸的一種。本文將遵循正常人的思維方式，一步一步揭示logistics回歸神秘的面紗。在講廣義線性回歸之前，我們先來回歸一下什麼是線性回歸，定義如下。那麼如何確定引數w和b呢？我們通常用得是最小二乘法，也就是基於均方誤差最小...
回歸係數只能取正值 統計學原理練習2
一 判斷題 每小題1分，共10分 1.連續型變數和離散型變數在進行組距式分組時，均可採用相鄰組組距重疊的 方法確定組限。2.統計表的結構從內容上看主要由標題和數字兩部分組成。3.對資料進行組距式分組，是假定變數值在各組內部的分布是均勻的，所以這 種分組會使資料的真實性受到損害。4.同一總體的一部分數...