線性回歸, linear regression
邏輯回歸, logistic regression
線性分類器, linear classifier
邏輯分類器, logistic classifier. 注意,這個名詞是我在文章中為了方便說明問題造出來的.
線性回歸可以看作乙個perceptron, 啟用函式是identical, 即f(
x)=x
.將邏輯回歸也可以看作乙個perceptron, 不同的是使用了sigmoid啟用函式.
一般的說法是, 線性回歸是真正的回歸, 而邏輯回歸是乙個分類器, 不是真回歸. 這算是乙個約定俗成的乙個失誤性命名嗎? no. 邏輯回歸的主體還是回歸操作: 回歸物件是sigmoid函式, 它將輸入對映為乙個處於0到1之間的小數. 得到這個0到1之間的小數之後人為將其解讀成概率, 然後根據事先設定的閾值進行分類. 回歸操作的工作量在整個logistic regression中保守估計也得超過99%
. 以這個演算法的主體---邏輯回歸來命名演算法是無可厚非的. 當然, 若一定要叫logistic classifier也是可以的, 只不過大家都不這麼叫而已.
已經有了logistical regression, logistic classifier, linear regression, 很自然的就能想到 linear classifier. logistic classifier是在logistic regression之後加了一步. 雖然linear classifier 與linear regression 之間沒有這種關係, 但它們在形式上還是很相似的:
logistic regression(這裡特指回歸操作):f(
x)=s
igmo
id(w
tx+b
)
logistic classifier:y=
{1−1
f(x)
≥0.5f(
x)<
0.5
linear regression: f
(x)=
wtx+
b
linear classifier: y
={1−
1f(x
)≥0f
(x)<
0
是不是很具有迷惑性?
可這只是表面現象, 因為linear classifier裡的f(
x)並不是通過linear regression得到的. 說到這裡就得給linear classifier下乙個定義了. 簡單的講,
linear classifier就是以超平面(hyperplane)為決策邊界(decision boundary)的分類器. 常見的linear classifier有logistic regression, svm, perceptron. 很明顯, 這些個分類演算法都不是通過linear regression 得到自己的分類超平面的.
還有一類經常引起爭論的問題: 資料集
d
在原始輸入空間
χ
上是線性不可分的, 但將其對映到另外乙個空間, 稱為特徵空間
h
上又成了線性可分的. 例如χ→
h:x→
(x,x
2,x3
)
, 判定函式為f(
x)={
1−1,
x+x2
+x3≥
0,x+
x2+x
3<
0
問這個分類器是線性還是非線性的? (其實是使用了kernel)
我個人的看法是: 在特徵空間 h
上是線性的, 在原始輸入空間 χ
上是非線性的. 如果不指明是哪個空間, 預設為原始輸入空間, 為非線性的.
線性回歸和邏輯回歸
最近開始學習機器學習，有點心得體會，記錄一下，希望大家批評指正 監督學習 supervised learning 根據已有的資料集，知道輸入和輸出結果之間的關係。根據這種已知的關係，訓練得到乙個最優的模型。也就是說，在監督學習中訓練資料既有特徵 feature 又有標籤 label 通過訓練，讓機器...
線性回歸 和 邏輯回歸
跟著b站乙個小姐姐學的 很不錯 1 什麼是回歸 什麼是分類？簡單來說一般回歸問題在數值上是乙個連續的 而分類問題在數值上一般是離散型的 回歸 回歸模型的更傾向於很小的區域 或者是乙個x對應乙個y 線性回歸就不在討論了 這裡學習一下 邏輯回歸 邏輯回歸 聽起來是回歸 但實際上他是解決分類問題的 是乙個...
Coursera 線性回歸和邏輯回歸
在原式子裡加入乙個 error term 之後得到這個 error tem 的正態分佈，從而到處輸出y和x 之間的概率關係。然後通過最大似然估計法，得到若要使得y的概率最大，等價於利用最小二乘法最小化 引數 的數量隨著訓練資料的增大而變多，但是當訓練資料量巨大的時候，每次 所需要的代價都很高。原訓練...