前言：
剛開始看到線性回歸，總覺得這是不是和羅輯回歸又啥關係。
對比一下吧。
線性回歸用於數值**，羅輯回歸用於分類。
對於羅輯回歸 來說，用於分類的神經網路的最後一層也是乙個羅輯回歸。
線性回歸：
線性回歸比較簡單，找到一條最佳直線來擬合資料。擬合的目標可以是均方誤差最小。
求最優的線性回歸直線的解法就是使用最小二乘法，通過最小二乘法來解。
但是這種做法存在問題。存在的問題主要有 非線性的資料無法擬合，容易欠擬合。
使用最小二乘法，求解的時候有矩陣推導這部分還不會啊
對於y = xw，矩陣表示均方誤差是
然後對w求導，然後得到
（這部分對於矩陣求導沒有看明白啊，也是艱難）。
然後另導數等於零求的極小值。
改進的方法有以下幾種：
（1）區域性加權線性回歸
（2）嶺回歸
（3）前向逐步線性回歸
首先說說區域性加權線性回歸。這個的主要思想是當前待**點越近的點，對於擬合的影響越大。這個影響是使用核函式來實現的。
核函式一般選用高斯核，例如：
其中對於**結果影響比較大的是k。其中k可以理解為對於待**點來說，參與線性擬合的點的範圍，k值越大參與線性擬合的範圍越大，如果k=1，則基本就是直線了。這部分為何會這樣還沒想明白。
一下內容是我主要的參考資料了。其中的d就是權重了。
即 locally weighted linear regression(區域性加權線性回歸)。
其優化目標函式是
其中 d
是n×n
的對稱矩陣，其元素值d(i,j)
表示資料xi
與xj的某種關係的度量。
對l關於w
求導，得
令導數為0
解得w:
的函式稱為「核」，核的型別可以自由選擇，最常用的是高斯核：
d(i,j)=exp(||xi−xj||1−2k2)
觀察上式可得：d(i,j)
與xi、xj
的l1範數呈負相關，l1
範數越大，值越小；與|k|
呈正相關。
當|k|
取乙個很小的值時，d(i,j)
的值隨||xi−xj||1
的增加衰減速度極快，這時矩陣d
非對角線上的元素都為0，對角線上元素值都為1
，退化為普通的lr。由此可知，lwlr是lr的推廣形式。
機器學習實戰之線性回歸
之前我們學習的機器學習演算法都是屬於分類演算法，也就是 值是離散值。當 值為連續值時，就需要使用回歸演算法。本文將介紹線性回歸的原理和 實現。如圖所示，這時一組二維的資料，我們先想想如何通過一條直線較好的擬合這些散點了？直白的說 盡量讓擬合的直線穿過這些散點 這些點離擬合直線很近 目標函式 要使這些...
機器學習實戰之線性回歸
線性回歸原理與推導 如圖所示，這時一組二維的資料，我們先想想如何通過一條直線較好的擬合這些散點了？直白的說 盡量讓擬合的直線穿過這些散點 這些點離擬合直線很近 目標函式 要使這些點離擬合直線很近，我們需要用數學公式來表示。首先，我們要求的直線公式為 y xtw。我們這裡要求的就是這個w向量 類似於l...
機器學習實戰筆記 回歸
回歸的目的是 數值型的目標值。即找到乙個回歸方程，通過求解其中的回歸係數 該過程就稱為回歸 給定輸入來得到 值。這裡我們之談論線性回歸。用線性回歸找最佳擬合直線 回歸的一般方法 收集資料 準備資料 分析資料 可以繪出資料的視覺化二維圖將有助於對資料做出理解和分析，在採用縮減法求得新回歸係數之後，可以...