區域性加權回歸

區域性加權緊接著上面的線性回歸中引數求解來繼續講吧。還是以上面的房屋**的**，它的中心思想是在對引數進行求解的過程中，每個樣本對當前引數值的影響是有不一樣的權重的。比如上節中我們的回歸方程為（這個地方用矩陣的方法來表示ɵ表示引數，i表示第i個樣本，h為在ɵ引數下的**值）：

我們的目標是讓

最小，然後求出來ɵ，再代入h中就可以得到回歸方程了。

但是如果類似以下的樣本，他們的對應圖如下：

如果用之前的方法，圖中線為求出的回歸方程，那麼在x的取值和真實差別很大，這個情況叫做欠擬合。那麼我們怎麼辦呢？我們的主要思想就是只對x的附近的一些樣本進行選擇，根據這些樣本得到x附近這些樣本所推倒出來的回歸方程，那麼此時我們得到的回歸方程就比較擬合樣本資料，得到的效果圖如下：

我們解的思路如下，加入乙個加權因子：

重新構造新的j(x)

exp是以e為低的指數，這個時候可以知道如果x距離樣本很遠的時候w(i)=0，否則為1，當我們**乙個值的時候就需要我們重新來計算當前的引數ɵ的值，然後構造回歸方程，計算當前的**值。

這就是區域性加權回歸lwr！