分類與回歸



分類與回歸問題

在用dbn

作手寫體識別實驗的時候，

hinton 2006

年發表的** 

a fast learning algorithm for deep belief nets

所對應的**，裡面用到

softmax

進行多分類。現就所查的資料和自己所理解的，整理這篇

blog

。 softmax回歸模型，該模型是

logistic

回歸模型在多分類問題上的推廣，本文針對線性回歸、邏輯回歸和

softmax

回歸問題做些簡單介紹。

首先解釋一下回歸問題，分類問題的不同點。回歸問題**的結果是連續的值，而分類問題的**結果是離散的。拿支援向量機舉個例子，分類問題和回歸問題都要根據訓練樣本找到乙個實值函式g(x). 

回歸問題的要求是：給定乙個新的模式，根據訓練集推斷它所對應的輸出

y（實數）是多少。也就是使用

y=g(x)

來推斷任一輸入

x所對應的輸出值。分類問題是：給定乙個新的模式，根據訓練集推斷它所對應的類別（如：+1，

-1）。也就是使用

y=sign(g(x))

來推斷任一輸入

x所對應的類別。綜上，回歸問題和分類問題的本質一樣，不同僅在於他們的輸出的取值範圍不同。分類問題中，輸出只允許取兩個值；而在回歸問題中，輸出可取任意實數。

在統計學中，線性回歸(linear regression)

是利用稱為線性回歸方程的最小平方函式對乙個或多個自變數

和因變數之間關係進行建模的一種回歸分析。這種函式是乙個或多個稱為回歸係數的模型引數的線性組合。只有乙個自變數的情況稱為簡單回歸,

大於乙個自變數情況的叫做多元回歸。

邏輯回歸的模型 是乙個非線性模型，sigmoid

函式，又稱邏輯回歸函式。但是它本質上又是乙個線性回歸模型，因為除去

sigmoid

對映函式關係，其他的步驟，演算法都是線性回歸的。可以說，邏輯回歸，都是以線性回歸為理論支援的。

只不過，線性模型，無法做到sigmoid

的非線性形式，

sigmoid

可以輕鬆處理

0/1分類問題。

我們知道logistic regression

很適合做一些非線性方面的分類問題，不過它只適合處理二分類的問題，且在給出分類結果時還會給出結果的概率。

softmax

就是在logistic 

上的擴充套件。

softmax

回歸模型對於諸如

mnist

手寫數字分類等問題是很有用的，該問題的目的是辨識

10個不同的單個數字。

知乎分類、回歸區別 

對線性回歸、邏輯回歸，各種回歸模型的概念學習 

邏輯回歸模型 

ufldl softmax 回歸 

tornadomeet 部落格 

分類與回歸

分類 classification 與回歸 regression 的區別在於輸出變數的型別。通俗理解，定量輸出稱為回歸，或者說是連續變數 定性輸出稱為分類，或者說是離散變數 回歸問題的 結果是連續的，通常是用來 乙個值，如 房價 未來的天氣情況等等。乙個比較常見的回歸演算法是線性回歸演算法 lr，l...

分類與回歸的區別

在資料探勘 人工智慧等領域中存在兩個 分類和回歸。單說分類很容易理解，但想到回歸就容易分不清晰，那麼這兩者到底有什麼區別和聯絡呢？下面簡單介紹下我的理解。其實 回歸問題和分類問題的本質一樣，都是針對乙個輸入做出乙個輸出 其區別在於 輸出變數的型別。分類問題是指，給定乙個新的模式，根據訓練集推斷它所對...

CART分類與回歸樹

十大經典資料探勘演算法 系列 c4.5 k means svmapriori empagerank adaboost knnna ve bayes cart 分類與回歸樹 classification and regression trees,cart 是由四人幫leo breiman,jerome...