捋一捋二分類和多分類中的交叉熵損失函式

2021-10-20 16:34:58 字數 313 閱讀 3432

二分類:

用sigmoid函式【1/1+e(x)】作為啟用函式,將線性變換的輸出值對映到0 1之間。通過矩陣變換,將最後的輸出值定為1維0 1之間的數值,再用bceloss函式(二分類交叉熵損失函式)構建計算圖

多分類:

隱藏層用啟用sigmoid函式處理線性變換後的值,最後一層用softmax函式【e(x)/∑e(x)】算出輸出層 每個維度的輸出值 所佔的比例(softmax函式保證了處理後的結果是大於零,且和為1),再用nllloss作為損失函式作為損失值,由於pytorch的封裝性,crossentropyloss()=softmax()+nllloss()

二分類問題的交叉熵函式和多分類問題的交叉熵函式

在二分類問題中,損失函式為交叉熵損失函式。對於樣本 x,y 來講,x為樣本 y為對應的標籤。在二分類問題中,其取值的集合可能為,我們假設某個樣本的真實標籤為yt,該樣本的yt 1的概率為yp,則該樣本的損失函式為 如果對於整個資料集上的模型而言 其損失函式就是所有樣本的點的損失函式的平均值。在多分類...

二分類和多分類問題的評價指標總結

準確率,精確率,召回率,f1 score,auc,roc,p r曲線 1.1 準確率 accuracy 評價分類問題的效能指標一般是分類準確率,即對於給定的資料,分類正確的樣本數佔總樣本數的比例。注意 準確率這一指標在unbalanced資料集上的表現很差,因為如果我們的正負樣本數目差別很大,比如正...

二分類和多分類問題的評價指標總結

1 二分類評價指標 準確率,精確率,召回率,f1 score,auc,roc,p r曲線 1.1 準確率 accuracy 評價分類問題的效能指標一般是分類準確率,即對於給定的資料,分類正確的樣本數佔總樣本數的比例。注意 準確率這一指標在unbalanced資料集上的表現很差,因為如果我們的正負樣本...