線性回歸資料 大資料演算法之多元線性回歸

2021-10-12 16:58:16 字數 1055 閱讀 9191

多元線性回歸顧名思義,就是假設多個自變數同時對乙個因變數產生影響。其特殊情況就是一一對映,即乙個自變數對應乙個因變數。

首先我們先了解一些指標。這些指標在機器學習中很常見。我偷懶,

def r_square_score(y_predict,y_test):

r = 1 - mse_score( y_predict,y_test )/mse_score( np.array([np.mean(y_test)]*len(y_test)) , y_test )

return r

下面是線性回歸的**簡單實現:

def lr(train_feature,train_label,test_feature):

'''input:

train_feature(ndarray):訓練樣本特徵

train_label(ndarray):訓練樣本標籤

test_feature(ndarray):測試樣本特徵

output:

predict(ndarray):測試樣本**標籤

'''#將x0=1加入訓練資料

new_train = np.concatenate( (np.ones(len(train_feature)).reshape(-1,1) , train_feature) , axis=1)

#使用正規方程解求得引數

theta = np.linalg.inv( new_train.t @ new_train ) @ new_train.t @ train_label

#將x0=1加入測試資料

new_test = np.concatenate( (np.ones(len(test_feature)).reshape(-1,1),test_feature),axis=1 )

#求得測試集**標籤

predict = new_test @ theta

return predict

注意,使用最小二乘法求的數值解時,需要特別注意矩陣是否可逆,若不可逆,則可考慮新增正則化項。

7 線性回歸之多元線性回歸

當自變數有多個時,回歸模型就變成了 多元回歸方程變為 估計多元回歸方程變為 估計方法 多元回歸的求解比簡單線性回歸複雜但是思路是相同的,運用最小二乘法進行相應的求解,這裡不再進行展開。問題 如故乙個運輸任務是跑102英里,運輸了6次,預計多少小時?from numpy import genfromt...

機器學習之多元線性回歸

多元線性回歸概念 在回歸分析中,如果有兩個或兩個以上的自變數,就稱為多元回歸。社會經濟現象的變化往往受到多個因素的影響,例如,家庭消費支出,除了受家庭可支配收入的影響外,還受諸如家庭所有的財富 物價水平 金融機構存款利息等多種因素的影響。因此,一般要進行多元回歸分析,我們把包括兩個或兩個以上自變數的...

多元線性回歸演算法

在簡單的線性回歸演算法基礎上,若x代表的不是乙個單一的數值,而是乙個向量,下面給出張ppt圖 如圖所示,在多元線性回歸演算法中,x已成了乙個向量,自然y的表示式已經不再是之前簡單的一元二次方程,而我們所需要求得的 誤差也如下所示 同簡單線性回歸一樣,只不過就是一維運算換成了向量運算。為了使得損失函式...