機器學習(線性回歸)

2021-10-12 06:27:06 字數 1409 閱讀 9390

3.1簡單線性回歸

有監督學習:資料集帶標記,標記為連續值

在乙個回歸模型中,我們需要關注或**的變數叫做因變數,我們選取的用來解釋因變數變化的變數叫做自變數。

用乙個或多個自變數來**因變數的數學方法學得乙個通過屬性的線性組合來進行**的函式

f(x) = wo+w11+…+wnn

用向量的形式表示

f(x)= w』 x + wo

優點簡單、基本、可理解性好

自變數只有乙個(一維)

y = wo+ w1x,為一元線性回歸模型,x為真實值,y為**值

y = wo+ wix+e,y為真實值,z為隨機誤差項y為y的估計值

優秀的線性回歸模型,應盡量使得估計值y對應的實際觀測值y之間的絕對差最小,即z最小。

嶺回歸

3.5模型評估與選擇

實際問題中需要比較不同方法構建模型的優劣,以及同一方法設定不同引數時模型的優劣

調參與最終模型

模型的引數:一般由機器學習自動確定如線性回歸中的變數係數等

演算法的引數:一般由人工設定,亦稱「超引數」嶺回歸,懲罰係數入

from sklearn. model_selection import gridsearchcv,網格搜尋

最終模型:

實用:演算法及演算法引數選定後,用訓練集d訓練模型

什麼是好的模型?

對模型進行評估,評估泛化誤差,利用測試誤差近似評估泛化誤差

對模型進行評估,選擇泛化誤差小的模型:準確率高且穩定的模型。

留出法:直接將資料集d劃分為兩個互斥的集合,訓練集s,測試集t:d=sut,snt= 0

k折交叉驗證法:k常取值為10

基於「自助取樣」,又稱有放回取樣,可重複取樣

機器學習 線性回歸

可以說基本上是機器學習中最簡單的模型了,但是實際上其地位很重要 計算簡單 效果不錯,在很多其他演算法中也可以看到用lr作為一部分 先來看乙個小例子,給乙個 線性回歸是什麼 的概念。圖來自 2 假設有乙個房屋銷售的資料如下 面積 m 2 銷售價錢 萬元 123 250 150 320 87 160 1...

機器學習(線性回歸)

在機器學習中,回歸 分類和標註共同構成了監督學習技術。監督學習 supervised learning 是機器學習在工業界應用最廣的乙個領域分支。在學術界中也是研究最多的領域之一。大家都知道的資料探勘十大經典演算法中,監督學習技術佔據6席。方法 自變數 特徵 因變數 結果 關係 回歸演算法是試圖採用...

機器學習 線性回歸

line fitter linearregression 建立模型 line fitter.fit temperature,sales 傳入引數 sales predict line fitter.predict temperature 模型 直線 直線上會有loss 計算loss時 要使用平方距離...