1、資訊量
“陳羽凡吸毒？！工作室不是剛闢謠了嗎？哇！資訊量好大！”
在生活中，極少發生的事情最容易引起吃瓜群眾的關注。而經常發生的事情則不會引起注意，比如吃瓜群眾從來不會去關係明天太陽會不會東邊升起。
資訊量的多少與事件發生概率的大小成反比。
對於已發生的事件i，其所提供的資訊量為：
其中底數通常為2，負號的目的是為了保證資訊量不為負。
事件i發生的概率與對應資訊量的關係如下所示：
2、資訊熵（夏農熵）
所有可能發生事件所帶來的資訊量的期望
3、交叉熵
如果假設分佈概率與真實分佈概率一致，那麼交叉熵 = 資訊熵。
就是用後驗分佈 q 來近似先驗分佈 p 的時候造成的資訊損失。再直白一點，就是衡量不同策略之間的差異性
相對熵用來衡量q擬合p的過程中產生的資訊損耗，損耗越少，q擬合p也就越好。
**
交叉熵解讀
參考 1 隨機現象 並不總是出現相同結果的現象稱為隨機現象。 2 隨機變數 隨機現象各種結果的變數 一切可能的樣本 稱為隨機變數。 3 資訊...
歸一化 softmax 資訊熵 交叉熵
機器學習中經常遇到這幾個概念，用大白話解釋一下 一 歸一化 把幾個數量級不同的資料，放在一起比較 或者畫在一個數軸上 ，比如 一條河的長度幾...
機器學習基礎 熵 KL散度 交叉熵
熵 entropy kl 散度 kullback leibler kl divergence 和交叉熵 cross entropy 在機器學...