線性回歸與softmax回歸的區別

2021-10-02 01:58:23 字數 833 閱讀 3339

線性回歸是一種回歸演算法,根據當前資料去學習直線的兩個引數。可以用輸入特徵維度為2輸出為1的單層神經網路來實現。線性回歸模型適⽤於輸出為連續值的情景

softmax回歸,是一種分類方法,模型輸出可以是⼀個

像影象類別這樣的離散值。對於這樣的離散值**問題,我們可以使⽤諸如softmax 回歸在內的

分類模型。和線性回歸不同,softmax 回歸的輸出單元從⼀個變成了多個,且引⼊了softmax 運

算使得輸出更適合離散值的**和訓練。

softmax 回歸跟線性回歸⼀樣將輸⼊特徵與權重做線性疊加。與線性回歸的⼀個主要不同在於,

softmax 回歸的輸出值個數等於標籤⾥的類別數。

softmax 回歸同線性回歸⼀樣,也是⼀個單層神經⽹絡。

由於每個輸出o1; o2; o3 的計算都要依賴於所有的輸⼊x1; x2; x3; x4,softmax 回歸的輸出層也是

⼀個全連線層。

交叉熵損失函式:

使⽤softmax 運算後可以更⽅便地與離散標籤計算誤差。我們已經知道,softmax 運

算將輸出變換成⼀個合法的類別**分布。實際上,真實標籤也可以⽤類別分布表達:對於樣本

交叉熵損失函式是乙個用來衡量兩個概率分布差異的測量函式。

線性回歸 Softmax與分類模型 多層感知機

主要內容包括 1.線性回歸的基本要素 2.線性回歸模型從零開始的實現 3.線性回歸模型使用pytorch的簡潔實現 為了簡單起見,這裡我們假設 只取決於房屋狀況的兩個因素,即面積 平方公尺 和房齡 年 接下來我們希望探索 與這兩個因素的具體關係。線性回歸假設輸出與各個輸入之間是線性關係 price ...

線性回歸 Softmax與分類模型 多層感知機

一.線性回歸 主要內容包括 1.線性回歸的基本要素 2.線性回歸模型從零開始的實現 3.線性回歸模型使用pytorch的簡潔實現 線性回歸的基本要素 模型為了簡單起見,這裡我們假設 只取決於房屋狀況的兩個因素,即面積 平方公尺 和房齡 年 接下來我們希望探索 與這兩個因素的具體關係。線性回歸假設輸出...

Softmax回歸練習

整個流程包括以下四部分 1 定義演算法公式,也就是神經網路的forward時的計算 y softmax w.tx b 2 定義損失函式 h y y log y 並制定優化器 梯度下降 3 迭代的對資料進行訓練 4 在測試集或驗證集上對準確率進行評測 import tensorflow as tf 匯...