機器學習 1 線性回歸

2 linear regression with multiple variables / multivariate linear regression （多變數線性回歸）

3 gradient descent in practice

3.2 learning rate

3.3 features and polynomial regression

4 normal equation（正規方程）

5 梯度下降與正規方程的比較

6 參考

單變數線性回歸

梯度下降

to solve minimizeθ0

,θ1j

(θ0,

θ1

)\mathop}\limits_ j(\theta_0,\theta_1)

θ0​,θ1

​minimize​j

(θ0​

,θ1​

)

a method to solve for θ

\theta

θ analytically one step to get to the optimal value right

一步求解得到最優值時的θ

\theta

θ的方法

pinv(x'*x)*x'*y

import numpy as np

defnotmaleqn
(x,y)
: theta = np.linalg.inv(x.t@x)@x.t@y # x.t@x 等價於 x.t.dot(x)
return theta

problem: if xtx

x^tx

xtx is non-invertible ( singular or degenerate matrices)?

normal euqation 正規方程

need to choose α

\alpha

α需要選擇α

\alpha

αno need to choose α

\alpha

α不需要選擇α

\alpha

αneed many iterations 需要多次迭代

no need to iterate 不需要迭代

works well even when n

nn is large 即使特徵很多，也能很好地執行

slow if n

nn is very large because we need to compute (xt

x)−1

(x^tx)^

(xtx)−

1【nn

n is hard to get】特徵很多的話，執行會變得很慢

適用於各種型別的模型

只適用於線性回歸，不適合邏輯回歸

吳恩達 機器學習 coursera machine learning

黃海廣 機器學習筆記

機器學習（1） 線性回歸

無正則的線性回歸模型 l1正則的lasso模型 l2正則的ridge regression 嶺回歸 模型 開方均方誤差 rooted mean squared error，rmse 平均絕對誤差 mean absolute error，mae 1.生成學習器例項 lr linearregressio...

機器學習之1 線性回歸

在最近一段時間，對機器學習進行了學習，但感覺效果不是很好。一日與朋友聊起此事，他建議建個部落格，一來梳理一下所學內容，二來和大家一起學習交流。因此，建立了此部落格，如果您發現博文中有不當之處，歡迎您來郵指明，我的郵箱為212352807 qq.com 在機器學習中，基本分為兩大問題 監督學習 sup...

機器學習筆記1 線性回歸

資料探勘 人工智慧等領域中存在兩個 分類和回歸 先說回歸 一些簡單的數學題，求解問題往往通過求解未知數，也就是 通過給定的自變數和函式，通過函式求解得到未知數。而機器學習是，通過給定的自變數和函式的解，去求解函式。即求解function x y。通過樣本中大量的特徵 x 和目標變數 y 求得這個函式...