【梯度下降】
1、本質:求解f'(x)=0
2、演算法:起點x0按照步長α向f'(x)為0逼近(x(n+1) = x(n) - α*f'(x(n)))
3、結果:迭代操作,f'(x)滿足期望精度
4、前提:梯度必須為遞增(凸函式)
【線性回歸梯度下降】
1、代數推導
(1)、**函式:h(x)=θ(0)+θ(1)*x
(2)、損失函式:j(θ)=(1/2m)*∑(h(x(i))-y(i))**2
(3)、梯度:▽j(θ(0))=(1/m)*∑(h(x(i))-y(i))
▽j(θ(1))=(1/m)*∑(h(x(i))-y(i))*x(i)
(4)、代入x,y即可得到基於θ的2元梯度下降公司
2、矩陣推導
(1)、**函式:y=x*θ
(2)、損失函式:j(θ) = (xθ-y)ⁿ(xθ-y)/2m
(3)、梯度:▽j(θ)=xⁿ(xθ-y)/m
矩陣求導：(ax)′=aⁿ
(xⁿx)′=2x
注：xⁿ為矩陣x的轉置
【線性方程求解】
1、損失函式求導
j(θ) = (x*θ-y)ⁿ(x*θ-y)/2m
▽j(θ)=xⁿ * (x*θ-y)/m = 0
xⁿ * x*θ = xⁿ * y
θ = pinv(xⁿ * x ) * xⁿ * y
2、矩陣乘法
x * θ = y
xⁿ * x * θ = xⁿ * y
θ = pinv(xⁿ * x ) * xⁿ * y
線性回歸 理論篇
回歸 的由來 francisgalton，英國生物學家，他研究了父母身高與子女身高之間關係後得出，若父母身高高於平均大眾身高，則其子女身高傾向於倒退生長，即會比其父母身高矮一些而更接近於大眾平均身高。若父母身高小於平均身高，則其子女身高傾向於向上生長，以更接近於大眾平均身高。此現象，被galton稱...
1 線性回歸與非線性回歸
線性回歸就是針對回歸問題的一種線性模型。特點 簡單優雅，模型本身擬合樣本能力不強，通常需要深層次的特徵。對損失函式的一些解釋 假定誤差服從中心極限定理，說明了誤差進行疊加最後趨近於標準正態分佈，先對誤差建立極大似然估計，然後引入到樣本上，最終求解得到損失函式。ps 中心極限定理假定每個樣本需要滿足均...
1 線性回歸（二）
為什麼要用特徵縮放？不用的話，特徵尺度不一樣，導致損失函式的曲面分布會變得很扁很細，甚至出現某個截面是u型的狀況。越細越陡峭，偏導就越大，越容易發散，梯度下降就會走得很艱難。親身體驗，縮放前，學習率就是大爺，大一點就 小了又比蝸牛還慢，4kw次才勉勉強強到最小點 縮放後，學習率成了怎麼玩都玩不壞的橡...