一、什麼是線性回歸？
線性回歸是用線性累加的函式h(x)，其中函式包含m+1個w(w從0~m)引數，函式為了擬合樣本(x,y)中x->y的轉換關係，其中x為m維，y為1維線性回歸詳解
二、線性回歸的目標。
loss function為最小二乘法的函式，目的為了找到使得loss function最小的w。
三、達到目標的做法。
求線性回歸的w的一般做法一般分為兩種情況，矩陣xtx滿秩序可求解(求導等於0)，與矩陣xtx不滿秩(梯度下降)。
具體求法在上述鏈結中，這裡來回顧一下:
1.什麼是矩陣的秩？2.怎麼求矩陣的秩？
（1）初等變換，高斯消元。化為梯形矩陣的行數。
3.什麼是矩陣滿秩？
（1）設a是n階矩陣, 若r（a） = n, 則稱a為滿秩矩陣。但滿秩不侷限於n階矩陣
回到原來的線性回歸問題，若滿秩矩陣是乙個很重要的概念, 它是判斷乙個矩陣是否可逆的充分必要條件。
a. 若矩陣xtx為滿秩矩陣,直接求解。
滿秩說明可求逆——> l對w求導等於零可以直接求解w：
b. 若矩陣xtx為不滿秩，梯度下降，求區域性最小值。
pytorch實現最簡單的線性回歸
import torch import time from torch.autograd import variable import torch.nn.functional as f x torch.unsqueeze torch.linspace 2,2,10 dim 1 y x.pow 2 0...
邏輯回歸 最基礎的線性邏輯回歸詳解
線性邏輯回歸是最基礎，也是最基本的線性模型，也就是說理解該模型，對於後續其他線性模型的研究有重要意義。所以今天找了時間專門回憶了一下。一 什麼是回歸，什麼是邏輯回歸？用一條直線對資料點進行擬合，擬合過程稱為回歸。logistic回歸 根據現有資料對分類邊界線建立回歸公式，以此進行分類。二 如何建立回...
簡單線性回歸
真實值 y theta x varepsilon 值 hat theta x varepsilon 為誤差 項，服從 均值為0 方差為 為誤差項，服從均值為0，方差為 為誤差項，服 從均值為 0，方差 為 sigma 的高斯分布。已知若干樣本，可以得到若干 varepsilon 值，根 據極大似 然...