在logistic regression二分類問題中，我們可以使用sigmoid函式將輸入wx+b對映到(0,1)區間中，從而得到屬於某個類別的概率。將這個問題進行泛化，推廣到多分類問題中，我們可以使用softmax函式，對輸出的值歸一化為概率值
這裡假設在進入softmax函式之前，已經有模型輸出c值，其中c是要**的類別數，模型可以是全連線網路的輸出aa，其輸出個數為c，即輸出為：
所以對每個樣本，它屬於類別i的概率為：
通過上式可以保證
，即屬於各個類別的概率和為1
對softmax函式進行求導，即求：
，第i項的輸出對第j項輸入的偏導。代入softmax函式表示式，可以得到：
求導規則：對於
，導數為：
所以在我們這個例子中，
上面兩個式子只是代表直接進行替換，而非真的等式。
，（即g(x)=
對進行求導)，要分情況討論：
如果i=j，則求導結果為
如果i≠j，則求導結果為0
再來看對
求導，結果為
所以，當i=j時：(其中，為了方便，令
)當i≠j時：
標紅下，這倆公式很重要：
交叉熵與Softmax
分類問題中，交叉熵常與softmax結合使用，交叉熵能夠衡量同乙個隨機變數中的兩個不同概率分布的差異程度，在機器學習中就表示為真實概率分布與 概率分布之間的差異。交叉熵的值越小，模型 效果就越好。資訊是用來消除隨機不確定性的東西 資訊量大小與資訊發生的概率成反比，概率越大，資訊量越小 概率越小，資訊...
softmax函式與交叉熵損失函式
本文主要介紹了當前機器學習模型中廣泛應用的交叉熵損失函式與softmax激勵函式。這個損失函式主要應用於多分類問題，用於衡量 值與實際值之間的相似程度。交叉熵損失函式定義如下 lce y y i 1ncl asse syi log yi l hat,y sum y i log hat lce y y...
softmax回歸與交叉熵損失函式
交叉熵損失函式 在 動手學深度學習 softmax回歸一節中，交叉熵損失函式比較晦澀，學習csdn上其他部落格後有了一定了解，做此記錄 softmax回歸同線性回歸一樣，也是乙個單層神經網路，但和線性回歸不同，softmax回歸的輸出單元從乙個變成了多個，且引入了softmax運算使輸出更適合離散值...