[toc]
一、什麼是回歸(regression)
一說回歸最先想到的是終結者那句：i'll be back
regress，re表示back，gress等於go，數值go back to mean value，也就是i'll be back的意思
在數理統計中，回歸是確定多種變數相互依賴的定量關係的方法
>通俗理解：越來越接近期望值的過程，回歸於事物的本質
二、什麼是線性回歸(linear regression)
線性回歸假設輸出變數是若干輸出變數的線性組合，並根據這一關係求解線性組合中的最優係數。
>通俗理解：輸出乙個線性函式，例如$y=f(x)$
假定乙個例項可以用列向量$x=(x_1;x_2;⋯,x_n)$表示，每個$x_i$代表例項在第i個屬性上的取值，線性回歸就是都求出一組引數$wi,i=0,1,⋯,n$，使**輸出可以表示為以這組引數為權重的例項屬性的線性組合。
例如引入常量$x_i=1$，線性回歸試圖學習的模型就是$f(x)=w^tx=\sum_^nw_ix_i$
當例項只有乙個屬性時，輸入輸出之間關係就是二維平面的一條直線
當例項屬性數目較多時，得到的是n+1維空間的乙個超平面，對應乙個維度等於於n的線性子空間
三、什麼是單變數線性回歸(unary linear regression)
也叫一元線性回歸，一元線性回歸是分析只有乙個自變數。
從乙個輸入值**乙個輸出值，輸入/輸出的對應關係就是乙個線性函式。
例如，肌肉塊頭和訓練重量的關係可以簡單看成一組線性的關係
四、什麼是多元線性回歸(multiple linear regression)
在回歸分析中，如果有兩個或兩個以上的自變數，就稱為多元回歸。
當樣本的描述涉及多個屬性時，這類問題就被稱為多元線性回歸。
例如，肌肉是睡眠、飲食、訓練多種因素共同作用的結果。
五、什麼是邏輯回歸(logistic regression)
線性回歸能對連續值進行**，而現實中學常見的另一類問題是分類，邏輯回歸解決的就是分類問題
邏輯回歸輸出的例項屬於每個類別的似然概率，似然概率最大的類別就是分類結果。
>通俗理解：邏輯就是true或false，判斷出是true還是false，相當於分類了
在二分類任務中，邏輯回歸可以視為在平面直角座標系上劃定一條資料分類的判定邊界。
六、什麼是多項式回歸(polynomial regression)
研究乙個因變數與乙個或多個自變數間多項式的回歸分析方法，稱為多項式回歸。
最終輸出的是乙個多項式回歸方程，例如$y=ax+bx^2+c$
七、常見概念
歐幾里得距離
指在m維空間中兩個點之間的真實距離，或者向量的自然長度(即該點到到原點的距離)
度量歐幾里得空間中兩點的距離。
均方誤差
**輸出和真實輸出之間的歐幾里得距離
最小二乘法
使均方誤差最小為目標的模型求解方法。
在單變數線性回歸任務中，最小二乘法就是找到一條直線，使得樣本到直線的歐幾里得距離之和最小。
>與梯度下降法的區別
最小二乘定義了最優化的目標函式，梯度下降要找到最優化問題的最優解，兩者大致是目的和手段的關係。最小二乘是有解析解的，如果解析解難以求解，就可以用梯度下降這些數值方法
偏導數固定面上一點的切線斜率。
導數和偏導數沒有本質區別。
一元函式中，乙個y對應乙個x，導數只有乙個。
乙個z對應乙個x和乙個y，那就有兩個導數了，乙個是z對x的導數，乙個是z對y的導數，稱之為偏導。
關於找一找教程網
[機器學習的回歸是什麼]
機器學習 機器學習實戰 Logistic回歸
我們在每個特徵上都乘以乙個回歸係數，然後把所有的結果值相加，將這個總和代入sigmoid函式中，進而得到乙個範圍在0 1之間的數值。任何大於0.5的資料被分入1類，小於0.5的被歸入0類。所以此種回歸也可以被看成是一種概率估計。收集資料 任意 準備資料 由於需要進行距離計算，因此要求資料型別為數值型...
機器學習筆記3 多元線性回歸的求解
這裡主要理解一下代價函式，梯度下降，正規方程。此文為難點的記錄和理解，作為跟學教程來看顯然是不可取的 假設有訓練樣本 x,y 模型為h，引數為 h tx t表示 的轉置 關於代價函式j 如下圖 目前的理解就是 值和實際值之間的差值，這個差值越小越好，而實現這個差值優化最常用的方式就是梯度下降。這裡的...
機器學習 機器學習入門04 線性回歸
總的來說，分類 classification 和回歸 regression 是機器學習中的兩大類問題。它們其實都是在做同一件事情 將輸入轉化為輸出。區別在於，分類得到的輸出是離散值，例如之前的癌症問題中的良性 0 和惡性 1 而回歸的得到的輸出是連續值。本篇文章，將開始討論回歸問題。我們從最簡單的線...