一、線性回歸
線性回歸通常用於根據連續變數估計實際數值（房價、呼叫次數、總銷售額等）。我們通過擬合最佳直線來建立自變數和因變數的關係。這條最佳直線叫做回歸線，並且用 y= a *x + b 這條線性等式來表示。
在這個等式中：
係數 a 和 b 可以通過最小二乘法獲得。
線性回歸的兩種主要型別是一元線性回歸和多元線性回歸。一元線性回歸的特點是只有乙個自變數。多元線性回歸的特點正如其名，存在多個自變數。找最佳擬合直線的時候，你可以擬合到多項或者曲線回歸。這些就被叫做多項或曲線回歸。
二、損失函式
損失函式表示式：j(
θ)=1
2m∑i
=1m(
hθ(x
(i))
−y(i
))2
損失函式可用梯度下降法求解
三、過擬合的正則化
...................
部分**如下：
from sklearn import datasets #引入資料
from sklearn.model_selection import train_test_split, cross_val_score #劃分訓練集、測試集；交叉驗證
from sklearn.linear_model import linearregression #引入lr模型
boston = datasets.load_boston()
x = boston.data
y = boston.target
x_train, x_test, y_train, y_tet = train_test_split(x, y, test_size = 0.3, random_state = 0) #test_size指測試集比例；random_state指隨機數
lr = linearregression(normalize=true,n_jobs=2)
lr.fit(x_train, y_train)
lr.score(x_train, y_train)
print('coefficient:n', lr.coef_) #係數
print('intercept:n', lr.intercept_) #截距
predicted = lr.predict(x_test)
機器學習之 線性回歸學習筆記
線性回歸是利用數理統計中回歸分析，來確定兩種或兩種以上變數間相互依賴的定量關係的一種統計分析方法，運用十分廣泛。其表達形式為y ax b，a為誤差服從均值為0的正態分佈。一元線性回歸分析 只包括乙個自變數和乙個因變數，且二者的關係可用一條直線近似表示。多元線性回歸分析 如果回歸分析中包括兩個或兩個以...
機器學習學習筆記（2） 線性回歸
線性回歸演算法據說是機器學習中的hello world，相對簡單，機器學習的具體演算法主要有三步 1 為假設函式設定引數，通過假設函式畫出一條直線，然後根據輸入的點得到 值。2 將測試值帶入損失函式，計算出乙個損失值。關於損失函式的定義，以後再討論 3 通過得到的損失值，利用梯度下降等優化方法，不斷...
機器學習筆記1 線性回歸
資料探勘 人工智慧等領域中存在兩個 分類和回歸 先說回歸 一些簡單的數學題，求解問題往往通過求解未知數，也就是 通過給定的自變數和函式，通過函式求解得到未知數。而機器學習是，通過給定的自變數和函式的解，去求解函式。即求解function x y。通過樣本中大量的特徵 x 和目標變數 y 求得這個函式...