神經網路解決多分類問題最常用的方法是設定n個輸出節點，其中n為類別的個數。對於每乙個樣例，神經網路可以得到乙個n為陣列作為輸出結果。陣列中的每乙個維度（也就是每乙個輸出節點）對應乙個類別，通過前向傳播演算法得到的輸出層每個維度值代表屬於這個類別的可能性大小。
也就是說，任意事件發生的概率都在0和1之間，且總有某乙個事件發生（概率的和為1）。如果將分類問題中「乙個樣例屬於某乙個類別」看出乙個概率事件，那麼訓練資料的正確答案就符合乙個概率分布。
如何將神經網路前向傳播得到的結果也變為概率分布呢？softmax回歸就是乙個非常常用的方法
softmax回歸本身可以作為乙個學習演算法來優化分類結果，它只是神經網路中的一層額外的處理層，將神經網路輸出變成乙個概率分布，下圖展示了加上了softmax回歸的神經網路結構圖
假設原始的神經網路輸出為y1,y2...,yn，那麼經過softmax回歸處理之後的輸出為：
從以上公式中可以看出，原始神經網路的輸出被用作置信度生成新的輸出，而新的輸出滿足概率分布的所有要求。這個新的輸出可以理解為經過神經網路的推導，乙個樣例為不同類別的概率分別是多大。這樣就把神經網路的輸出也變成了乙個概率分布，從而可以通過交叉熵來計算**的概率分布和真是答案的概率分布直接的距離了。
下面我們提供乙個淺層神經網路來描述此過程，如下圖所示：
我們可以將此過程寫成乙個等式：
我們可以將上述過程向量化，將其轉成矩陣相乘和向量相加，這樣有助於提高運算效率
神經網路基礎 softmax
softmax用於多分類過程，簡單來說，它將神經元的輸出對映到 0,1 之間，並且歸一化保證和為1，從而使多分類的概率之和也為1.也就是，多分類問題中，我們希望得到的是取到每個分類的概率，即概率最大的那類可以經常被取到，概率較小的可以偶爾被取到。函式表示式 其中，vi 是分類器前級輸出單元的輸出。總...
神經網路之softmax神經元
在之前的內容裡，我們採用的是sigmoid函式作為輸出層神經元。這裡我們介紹一種softmax函式作為新的輸出層。softmax本質上是一種歸一化的過程，假設神經元的帶權輸入為 zl j k wljk al 1 k bl j zjl kw jkla kl 1 bjl 定義輸出神經元的啟用值為 al ...
卷積神經網路 卷積神經網路啟用層
在生物意義上的神經元中，只有前面的樹突傳遞的訊號的加權和值大於某乙個特定的閾值的時候，後面的神經元才會被啟用。簡單的說啟用函式的意義在於判定每個神經元的輸出 放在人臉識別卷積神經網路中來思考，卷積層的啟用函式的意義在於這一塊區域的特徵強度如果沒有達到一定的標準，就輸出0，表明這種特徵提取方式 卷積核...