約束條件下的多元回歸

2021-08-02 18:23:12 字數 563 閱讀 4345

假設有如下的回歸模型y=x0+b1x1+b2x2+…bn*xn

回歸模型中有許多的引數, 假設我們猜測總體的引數中有約束條件如下:b1+b2=1,那麼我們可以用樣本資料來對這個約束假設進行驗證麼?

答案當然是可以。其思想為我們將約束條件放在模型中,產生乙個新的模型,該模型只有k一1個引數(因為約束條件,減少了乙個自由的引數),如果假設為真,總體中真的存在引數的約束,那麼原模型的估計結婚中b^1+b^2應當是近似為1, 那麼原模型的解釋力度應當和新模型是一致的。表現在資料上,就是兩個模型的殘差平方和rss近似。直覺性的,我們可以構建f統計量來對原假設進行檢驗。

事實上,方程總體的顯著性檢驗就是約束條件b1=b2=...bk=0,這樣乙個特例而已,在這種約束條件下模型的殘差平方和等於回歸平方和,非約束條件的殘差平方和減去約束條件下的殘差平方和等於約束條下的回歸平方和。也就成了方程總體顯著性檢驗現在的狀況。

如果我們發現某些變數在模型中並不顯著,或者說即使顯著,其大小也非常小(在量綱已經統一的前提下),那麼我們想將其剔除是否可行呢?

我們可以對該變數施加約束條件如:b2=b3=0。對該約束條件的f檢驗就是對能否剔除這兩個變數的檢驗。

約束條件下的多元回歸

假設有如下的回歸模型y x0 b1x1 b2x2 bn xn 回歸模型中有許多的引數,假設我們猜測總體的引數中有約束條件如下 b1 b2 1,那麼我們可以用樣本資料來對這個約束假設進行驗證麼?答案當然是可以。其思想為我們將約束條件放在模型中,產生乙個新的模型,該模型只有k一1個引數 因為約束條件,減...

多元回歸分析的心得 筆記

多元回歸分析的心得 筆記 通過一篇部落格內的文章 對我最近幫老師做多元回歸分析求解相關係數有很大幫助 從零開始涉獵 在網上查詢的很多有關求解多元回歸分析相關係數的文章,但大部分都是通過sklearn來進行回歸分析的研究,將資料拆分成訓練資料以及測試資料,機器通過訓練資料獲得乙個模型,再通過測試資料對...

深度學習基礎06 多元回歸分析(下)

這篇文章寫一下如何用python實現多元回歸分析 還是繼續上乙個例子 資料如下 把這些資料貼上到csv檔案中進行處理 引入資料報 from numpy import genfromtxt 把匯入的資料轉化為numpy.array import numpy as np from sklearn imp...