（1）情景：給定一定數量的資料點，通過擬合得到其回歸直線，使得所有點到這個直線的距離之和（損失函式）最小。
即：已知各個點的座標，反求直線表示式的最優係數解。
假定直線引數為θ，則直線表示式為：
得到的直線（平面）表示式應使得損失函式最小，其中損失函式表示式：
（2）求解方式：
第一種：直接求解
欲使損失函式最小，對損失函式進行求導等於0（實際問題中極小值即為最小值）
第二種：梯度下降法
從損失函式上的任一點出發，每次沿梯度的方向更新θ的值，所得到的新的θ將會使損失函式的函式值更小。（屬隨機梯度下降原理）
求解的關鍵在於得到其導數的方向，保證每次更新都將沿損失函式值下降的方向，同時要選取適當的學習步長α，避免過快更新超過其最小值的同時盡量選擇較大步長來減少迭代更新的次數。
上面的所述的思想，是基於每次都代入乙個x進行迭代更新，稱為隨機梯度下降，但由於其方向為單個的導數的方向，所得到的極值點可能為區域性最小值（如下圖所示），而非整體最小值，想盡可能 得到整體最小值 ，應採用批量梯度下降法，即每次更新均代入所有的x進行更新，其更新的方向為合導數的方向（可以理解為合力與分力的關係，站在更高維度去思考該問題，合力方向與單個方向的不同將使得各個維度的變化量不同）。
1.2 演算法流程
（1）解析解
直接計算可得
（2）梯度下降法
其中，當採用隨機梯度下降時，步驟2為：
當採用批量梯度下降時，步驟2為：
1.3 注意事項
（1）解析解的求解要求 可逆，當它不可逆時：
可逆矩陣要求方陣的行列式為0，要求矩陣滿秩，應去除共線性的特徵和多餘特徵
1）考慮是否存在多餘特徵，去掉多餘特徵
2）降維去除共線性的特徵（呈比例關係的特徵）
3）加入懲罰項保證可逆
（2）為防止回歸得到的模型過擬合，應在損失函式中加入正則項
正則項有分l1正則（lasso回歸）與l2正則（嶺回歸）
加入正則項後，所得導數方向為原函式與正則項的切點方向，由於l1正則項的導數方向較少，故加入l1正則項後得到的解其0值較多（忽略了較多維度的影響）
機器學習之線性回歸
訓練樣例 x y 輸入變數 特徵 x ps n 1行，1 列 輸出變數 目標變數 y訓練樣例總數 m 特徵維度 n第 i 個訓練樣例 x i y i 所有訓練樣例的輸入變數組成的矩陣 x ps m行，n 1 列，每行是 x i t 所有訓練樣例的輸出變數組成的矩陣 y ps m行，1 列 下表是某地...
機器學習之線性回歸
線性回歸就是用線性方程去擬合一組資料,x 的最高端是1,用方程可以表示為 h x 0 1x1 n xn我們令 x0 1則上式可以改寫為 h x i 0n ixi tx 既然是擬合的模型,則肯定會存在不符合該模型的點,第 i 個點的真實值與模型 的值之間的差稱為誤差 e h x i y i 假設總共有...
機器學習之線性回歸
線性回歸分析 regression analysis 其資料集是給定乙個函式和他的一些座標點，然後通過回歸分析的演算法，來估計原函式的模型，求得最符合這些資料集的函式解析式。然後我們就可以用來預估未知資料，輸入乙個自變數便會根據這個模型解析式輸出因變數，這些自變數就是特徵向量，因變數即為標籤，而且標...