機器學習 多元線性回歸及其手寫實現梯度下降

2021-09-20 10:36:58 字數 1079 閱讀 1060

1.在回歸分析中,如果有兩個或兩個以上的自變數,就稱為多元回歸。事實上,一種現象常常是與多個因素相聯絡的,由多個自變數的最優組合共同來**或估計因變數,比只用乙個自變數進行**或估計更有效,更符合實際。因此多元線性回歸比一元線性回歸的實用意義更大。

2.多元線性回歸演算法步驟:

解析資料集,分割特徵和label

定義損失函式

定義梯度下降函式

根據特徵數量初始化構建權重w和bias-b

訓練,得到訓練的權值w和偏差b

解析資料集,分割特徵和label

這裡是乙個商業廣告分析的小資料集,有三個特徵,總共200個樣本用來訓練。

定義損失函式

這裡用來計算訓練過程中的損失值,用的是均方差損失函式。

定義梯度下降函式

梯度下降函式,根據均方差求導反向更新權重w和偏差b。

根據特徵數量初始化構建權重w和bias-b,進而用梯度下降函式進行訓練

經過訓練之後,損失值有明顯的下降。中損失值還比較大,可能是因為樣本分佈不是乙個多元的線性分布。

減低乙個特徵,通過matplotlib中3d畫圖工具來視覺化顯示

作為基礎的機器學習知識,必須要掌握具體的實現過程。在面試和筆試中都會有所涉及。

**傳送門 >>>>>>

機器學習 一元線性回歸及其手寫實現梯度下降

線性回歸是利用數理統計中回歸分析,來確定兩種或兩種以上變數間相互依賴的定量關係的一種統計分析方法。回歸分析中,只包括乙個自變數和乙個因變數,且二者的關係可用一條直線近似表示,這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括兩個或兩個以上的自變數,且因變數和自變數之間是線性關係,則稱為多元線性回歸...

機器學習(4) 多元線性回歸

乙個唯一的因變數和多個自變數 之間的關係 這裡自變數在處理之前不僅僅是數值型 上圖 我們要做的也就是,尋找到最佳的b0 b1 bn 這裡有關於50個公司的資料 spend1 2 3代表了公司在某三個方面的花銷,state是公司的的位址,profit則是公司去年的收入。現在要選擇目標公司,要求績效最好...

機器學習之多元線性回歸

多元線性回歸概念 在回歸分析中,如果有兩個或兩個以上的自變數,就稱為多元回歸。社會經濟現象的變化往往受到多個因素的影響,例如,家庭消費支出,除了受家庭可支配收入的影響外,還受諸如家庭所有的財富 物價水平 金融機構存款利息等多種因素的影響。因此,一般要進行多元回歸分析,我們把包括兩個或兩個以上自變數的...