標籤（空格分隔）： 機器學習
前面有寫過一篇關於最小二乘與最大似然估計的部落格點我點我，該部落格從二者的本質不同進行了分析（乙個是為了最好的擬合資料，乙個是通過概率分布使時間最可能發生）
本篇部落格將從目標函式求駐點及梯度下降的角度比較二者的不同。
目標函式實際是從擬合中殘差服從高斯分布推導出來的，但實際我們可以直接使用：
\(j(\theta) = \frac(h_(x^)-y^)^ = \frac(x\theta-y)^(x\theta-y)\)
這是需要重點分析的，面試中有問到過。
\(\frac = \frac(\theta^x^-y^)(x\theta-y)}\)
\(=\frac(\theta^x^x\theta-\theta^x^y-y^x\theta+y^y)}\)
\(=\frac(2x^x\theta - x^y - (y^x)^) = x^x\theta - x^y\)
求駐點，令偏導為0，則\(\theta = (x^x)^x^y\)
加入擾動項
防止\(x^x\)不可逆或過擬合，增加\(\lambda\)擾動：
\(\theta = (x^x + \lambda i)^x^y\)
換個角度看擾動項
一般在求解回歸的問題中，為防止過擬合我們會加入乙個正則項，常用的正則項有l0-norm, l1-norm, l2-norm.（它們三者之間的區別與聯絡不作為本篇部落格的重點，詳細的解釋見這篇部落格：點我點我）
假設我們使用l2-norm（因為好求導~），則目標函式變為：
$j'(\theta) = \frac(h_(x)-y)^ + \lambda\sum_\theta_ \(
\)= \frac(x\theta-y)^(x\theta-y) + \lambda \theta^\theta$
然後對這個新的目標函式對\(\theta\)求偏導，求駐點，得到：
\(\theta = (x^x + \lambda i)^x^y\)
與前面直接加入擾動項的做法是完全一致的！！怎麼樣，有木有很神奇！！（今年校招滴滴的筆試題最後乙個簡答題就是問這個知識點，後知後覺啊。。）
\(\frac} = \frac}\frac(h_(x) - y)^\)
$ = (h_(x) - y)\frac}(h_(x) - y) \(
\) = (h_(x) - y)x_$
最小二乘 加權最小二乘 matlab實現
最小二乘 最小二乘法 又稱最小平方法 是一種數學優化技術。它通過最小化誤差的平方和尋找資料的最佳函式匹配。利用最小二乘法可以簡便地求得未知的資料，並使得這些求得的資料與實際資料之間誤差的平方和為最小 最小二乘法還可用於曲線擬合，其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。加權最小...
最小二乘擬合 6 7 最小二乘擬合問題
資料擬合問題的一般形式 任給一組離散資料 注 這裡的擬合函式不一定為多項式函式 記殘量的平方和為 求使得殘量平方和最小得一組係數就是線性最小二乘問題，為最小二乘問題得基函式，求得的擬合函式為資料的最小二乘擬合。求解 利用偏導數為零得到極值點的原理可以得到最小二乘問題滿足的方程組，求解方程組中未知係數...
說說最小二乘
最小二乘是用於根據取樣結果計算 最佳引數 的常用方法。本文簡要描述最小二乘的原理和計算方法。假設我們有乙個系統，我們知道這個系統的響應函式f是某組自變數的線性方程。不失一般性，我們以三個自變數的系統為例，對於自變數x,y,z，系統輸出f滿足f f x,y,z ax by cz d，而a,b,c,d的...