資訊量 資訊熵 交叉熵 相對熵

2022-06-23 19:27:17 字數 745 閱讀 4811

1、資訊量

“陳羽凡吸毒?!工作室不是剛闢謠了嗎?哇!資訊量好大!”

在生活中,極少發生的事情最容易引起吃瓜群眾的關注。而經常發生的事情則不會引起注意,比如吃瓜群眾從來不會去關係明天太陽會不會東邊升起。

資訊量的多少與事件發生概率的大小成反比。

對於已發生的事件i,其所提供的資訊量為:

其中底數通常為2,負號的目的是為了保證資訊量不為負。

事件i發生的概率與對應資訊量的關係如下所示:

2、資訊熵(夏農熵)

所有可能發生事件所帶來的資訊量的期望

3、交叉熵

如果假設分佈概率與真實分佈概率一致,那麼交叉熵 = 資訊熵

就是用後驗分佈 q 來近似先驗分佈 p 的時候造成的資訊損失。再直白一點,就是衡量不同策略之間的差異性

相對熵用來衡量q擬合p的過程中產生的資訊損耗,損耗越少,q擬合p也就越好。

** 

交叉熵解讀

參考 1 隨機現象 並不總是出現相同結果的現象稱為隨機現象。 2 隨機變數 隨機現象各種結果的變數 一切可能的樣本 稱為隨機變數。 3 資訊...

歸一化 softmax 資訊熵 交叉熵

機器學習中經常遇到這幾個概念,用大白話解釋一下 一 歸一化 把幾個數量級不同的資料,放在一起比較 或者畫在一個數軸上 ,比如 一條河的長度幾...

機器學習基礎 熵 KL散度 交叉熵

熵 entropy kl 散度 kullback leibler kl divergence 和交叉熵 cross entropy 在機器學...