pytorch 之 有關交叉熵函式使用的幾點說明

2021-10-08 12:09:43 字數 667 閱讀 8994

1.函式原型:loss_func = nn.crossentropyloss()

loss = loss_func(pre_label, label)

2.值得注意的點,這裡的label不需要賦值one-hot編碼型別,因為函式內部會自動將label變換為one-hot型別,如果這裡賦值為one-hot編碼,則會產生類似如下報錯

①:runtimeerror: multi-target not supported at /opt/conda/conda-bld/pytorch_1549635019666/work/aten/src

解決辦法:使用數值標籤,而非one-hot編碼

②:expected type torch.cuda.doubletensor but got torch.cuda.floattensor

解決辦法:針對這樣的錯誤,我們之前提到過,基本原因就是函式所需要的引數型別和我們賦值型別不同,這裡介紹一種改變torch中tensor的型別的函式:

data = data.type(torch.floattensor)

data = data.type(torch.longtensor)

data = data.type(torch.floattensor)

Pytorch交叉熵損失的理解

讓我們康康這個小栗子 input torch.randn 3,5,requires grad true 定義輸入 可看成是神經網路最後一層的輸出 需要梯度資訊以被更新 target torch.randint 5,3,dtype torch.int64 定義交叉熵類別 optimizer torch...

交叉熵代價函式

交叉熵代價函式 cross entropy cost function 是用來衡量人工神經網路 ann 的 值與實際值的一種方式。與二次代價函式相比,它能更有效地促進ann的訓練。在介紹交叉熵代價函式之前,本文先簡要介紹二次代價函式,以及其存在的不足。ann的設計目的之一是為了使機器可以像人一樣學習...

交叉熵損失函式

公式 分類問題中,我們通常使用 交叉熵來做損失函式,在網路的後面 接上一層softmax 將數值 score 轉換成概率。如果是二分類問題,我們通常使用sigmod函式 2.為什麼使用交叉熵損失函式?如果分類問題使用 mse 均方誤差 的方式,在輸出概率接近0 或者 接近1的時候,偏導數非常的小,學...