線性回歸損失函式推導-最大似然問題解析。
把統計看了一遍就是為了這裡!
線性回歸假設函式為
y=θtx" role="presentation">y=θtxy=θtx
之前是根據函式影象推導出損失函式為誤差平方和，這次用統計學方法推導。
擬合資料，就是把誤差減到最小
誤差ϵ=y−θtx" role="presentation">?=y?θtx?=y?θtx。
假設誤差服從正態分佈，誤差最小也就是期望為0。ϵ" role="presentation">??~n(0,σ2" role="presentation">σ2σ2)
最大似然估計就是使所有樣本最接近引數,也就是似然函式最大。
求似然函式
l(θ)=∏i=1mp(ϵ)=∏i=1m12πσe−ϵ22σ2" role="presentation">l(θ)=∏i=1mp(?)=∏i=1m12π√σe??22σ2l(θ)=∏i=1mp(?)=∏i=1m12πσe??22σ2
l(θ)=12πm1σme−∑i=1mϵ22σ2" role="presentation">l(θ)=12π√m1σme?∑i=1m?22σ2l(θ)=12πm1σme?∑i=1m?22σ2
l(θ)=2π−mσ−me−∑i=1m(y−θtx)22σ2" role="presentation">l(θ)=2π￣￣￣√?mσ?me?∑i=1m(y?θtx)22σ2l(θ)=2π?mσ?me?∑i=1m(y?θtx)22σ2
兩邊取ln
lnl(θ)=−mln(2π)−mln(σ)−12σ2∑i=1m(y−θtx)2" role="presentation">lnl(θ)=?mln(2π￣￣￣√)?mln(σ)?12σ2∑i=1m(y?θtx)2ln?l(θ)=?mln?(2π)?mln(σ)?12σ2∑i=1m(y?θtx)2
要使似然函式最大，∑i=1m(y−θtx)2" role="presentation">∑i=1m(y?θtx)2∑i=1m(y?θtx)2就要最小。也就是誤差平法和最小。
線性回歸 最大似然函式
似然函式與概率非常類似但又有根本的區別，概率為在某種條件 引數 下 某事件發生的可能性 而似然函式與之相反為已知該事件的情況下推測出該事件發生時的條件 引數 所以似然估計也稱為引數估計，為引數估計中的一種演算法 下面先求拋硬幣的似然函式，然後再使用似然函式算出線性回歸的引數 假如有一枚硬幣我們現在不...
最大似然估計解決線性回歸
本文章純屬個人學習筆記。我們得到一堆資料 xi,yi 現在要用線性方程的形式去做回歸，線性方程結構為 y f x e,其中f x w x，w是我們要進行估計的引數向量，e是雜訊，且該雜訊服從均值為0高斯分布，即 e n 0,sigema 2 假如說現在有乙個w 此w並不是最終的w 對於每乙個實際得到...
最大似然估計公式推導
參考知乎 說的通俗一點啊，最大似然估計，就是利用已知的樣本結果，反推最有可能 最大概率 導致這樣結果的引數值。例如 乙個麻袋裡有白球與黑球，但是我不知道它們之間的比例，那我就有放回的抽取10次，結果我發現我抽到了8次黑球2次白球，我要求最有可能的黑白球之間的比例時，就採取最大似然估計法 我假設我抽到...