《andrew ng 機器學習筆記》這一系列文章文章是我再**andrew ng的stanford公開課之後自己整理的一些筆記，除了整理出課件中的主要知識點，另外還有一些自己對課件內容的理解。同時也參考了很多優秀博文，希望大家共同討論，共同進步。
寫了幾篇筆記，發現好像課程題目和課程內容並不是十分擬合，所以，這篇博文開始，就不會再以課程題目為部落格標題了，會從課程中的主要內容總結出題目來，以防造成大家的閱讀困擾。
本篇博文整理 課程3（欠擬合與擬合的概念）的主要內容：
（1）區域性加權回歸
（2）對於線性模型的概率解釋（下篇博文再做詳細分析）
區域性加權回歸
以之前提到的房價為例：
而採用圖三多項式擬合能擬合所有資料，但是在**新樣本的時候又會變得很糟糕，因為它導致資料的
過擬合（overfitting），不符合資料真實的模型。
區域性加權回歸是一種非引數學習方法
，它的主要思想就是只對**樣本附近的一些樣本進行選擇，根據這些樣本得到回歸方程，那麼此時我們得到的回歸方程就比較擬合樣本資料，不會存在欠擬合和過擬合的現象。
與引數學習方法相比，非引數學習方法的不同之處在於：
引數學習方法是用一組訓練得到一系列訓練引數，然後確定出**函式h,之後就可以根據新的輸入來輸出新的**值，不再依賴之前的訓練集了，引數值求解出來後一直是確定的。
而非引數學習方法是在**新樣本值時候每次都會根據**樣本附近的訓練集求解新的引數值，即每次**新樣本是都會依賴訓練集求解新的引數，所以每次得到的引數值是不確定的。
以上述房價為例解釋 區域性加權回歸方法的思路：
1、加入乙個加權因子：
（1）如果
（2）如果
2、重新構造新的j(θ)：
區域性加權回歸的弊端：
（1）當資料規模比較大的時候計算量很大，學習效率很低。
（2）並不一定能避免欠擬合。
區域性加權回歸
區域性加權緊接著上面的線性回歸中引數求解來繼續講吧。還是以上面的房屋 的 它的中心思想是在對引數進行求解的過程中，每個樣本對當前引數值的影響是有不一樣的權重的。比如上節中我們的回歸方程為 這個地方用矩陣的方法來表示 表示引數，i表示第i個樣本，h為在 引數下的 值 我們的目標是讓 最小，然後求出來 ...
區域性加權回歸
區域性加權緊接著上面的線性回歸中引數求解來繼續講吧。還是以上面的房屋 的 它的中心思想是在對引數進行求解的過程中，每個樣本對當前引數值的影響是有不一樣的權重的。比如上節中我們的回歸方程為 這個地方用矩陣的方法來表示 表示引數，i表示第i個樣本，h為在 引數下的 值 我們的目標是讓 最小，然後求出來 ...
區域性加權回歸
通常情況下的線性擬合不能很好地 所有的值，因為它容易導致欠擬合 under fitting 比如資料集是 乙個鐘形的曲線。而多項式擬合能擬合所有資料，但是在 新樣本的時候又會變得很糟糕，因為它導致資料的 過擬合 overfitting 不符合資料真實的模型。今天來講一種非引數學習方法，叫做區域性加權...