參考：
參考：參考：
1.資訊量：乙個離散型隨機變數，其中某個事件發生的概率越低，資訊量越大。
2.熵：資訊量的期望。
3.kl散度：描述兩個概率分布的相似程度。
4.交叉熵：kl散度計算公式的後半部分
5.機器學習中：p是標準的分布，q是網路進行訓練時得到的分布。用交叉熵作為loss函式處理邏輯分類問題。
單分類（影象中的物體a是中的一種）：直接計算。
多分類（影象中有多個物體，計算是否有a，是否有b，是否有c）：n-hot編碼，每一位是二項分布，用sigmoid
熵與交叉熵
針對引文中的問題 如果乙個字出現的頻率為yi 則該字所使用的編碼bit數為lo g1yi 如果整段文字的概率分布都已知，那我們可以得出編碼乙個字所需的最優bit數 h y iyil og1y i 其中h y 就是熵 如果我們已知的是乙個錯誤的分布，並且使用該分布確定的編碼bit數，稱為交叉熵h y ...
cross entropy交叉熵 相對熵
1.熵用來表示所有資訊量的期望。2.相對熵又稱kl散度,如果我們對於同乙個隨機變數 x 有兩個單獨的概率分布 p x 和 q x 我們可以使用 kl 散度 kullback leibler kl divergence 來衡量這兩個分布的差異。3.交叉熵 相對熵 p的熵 交叉熵。在機器學習中，我們需要...
機器學習之資訊量，熵，相對熵，交叉熵概念辨析
可能性越小的事件其資訊量越大，極端情況下，確定事件的資訊量為0。事件 a aa 的資訊量為 ia log p a i a logp a ia l ogp a p a p a p a 為事件 a aa 發生的概率。熵就是乙個隨機變數x所有事件的資訊量的期望 例如隨機變數x xx表示明天的天氣，所有事件...