通常情況下的線性擬合不能很好地**所有的值，因為它容易導致欠擬合（under fitting），比如資料集是
乙個鐘形的曲線。而多項式擬合能擬合所有資料，但是在**新樣本的時候又會變得很糟糕，因為它導致資料的
過擬合（overfitting），不符合資料真實的模型。
今天來講一種非引數學習方法，叫做區域性加權回歸（lwr）。為什麼區域性加權回歸叫做非引數學習方法呢？ 首
先引數學習方法是這樣一種方法：在訓練完成所有資料後得到一系列訓練引數，然後根據訓練引數來**新樣本
的值，這時不再依賴之前的訓練資料了，引數值是確定的。而非引數學習方法是這樣一種演算法：在**新樣本值
時候每次都會重新訓練資料得到新的引數值，也就是說每次**新樣本都會依賴訓練資料集合，所以每次得到的
引數值是不確定的。
接下來，介紹區域性加權回歸的原理。
之前在普通的線性擬合中，我們得到了最小二乘的損失函式為
找到合適的引數使得上述損失函式最小即可。而在區域性加權回歸中，損失函式變為
上式中引數為新**的樣本特徵資料，它是乙個向量，引數控制了權值變化的速率，權值有乙個性質
所以，對於離**樣本資料較近的點權值較大，離**樣本資料較遠的點權值較小。
很明顯，區域性加權回歸在每一次**新樣本時都會重新確定引數，以達到更好的**效果。當資料規模比較大的
時候計算量很大，學習效率很低。並且區域性加權回歸也不是一定就是避免underfitting。
區域性加權回歸
區域性加權緊接著上面的線性回歸中引數求解來繼續講吧。還是以上面的房屋 的 它的中心思想是在對引數進行求解的過程中，每個樣本對當前引數值的影響是有不一樣的權重的。比如上節中我們的回歸方程為 這個地方用矩陣的方法來表示 表示引數，i表示第i個樣本，h為在 引數下的 值 我們的目標是讓 最小，然後求出來 ...
區域性加權回歸
區域性加權緊接著上面的線性回歸中引數求解來繼續講吧。還是以上面的房屋 的 它的中心思想是在對引數進行求解的過程中，每個樣本對當前引數值的影響是有不一樣的權重的。比如上節中我們的回歸方程為 這個地方用矩陣的方法來表示 表示引數，i表示第i個樣本，h為在 引數下的 值 我們的目標是讓 最小，然後求出來 ...
區域性加權回歸
andrew ng 機器學習筆記 這一系列文章文章是我再 andrew ng的stanford公開課之後自己整理的一些筆記，除了整理出課件中的主要知識點，另外還有一些自己對課件內容的理解。同時也參考了很多優秀博文，希望大家共同討論，共同進步。寫了幾篇筆記，發現好像課程題目和課程內容並不是十分擬合，所...