資訊量
資訊奠基人夏農（shannon）認為「資訊是用來
消除隨機
不確定性
的東西」。也就是說衡量資訊量大小就看這個資訊消除不確定性的程度。
「太陽從東方公升起了」這條資訊沒有減少不確定性。因為太陽肯定從東面公升起。這是句廢話，資訊量為0。
「吐魯番下中雨了」（吐魯番
年平均降水量日僅6天）這條資訊比較有價值，為什麼呢，因為按統計來看吐魯番明天不下雨的概率為98%（1-6/300），對於吐魯番下不下雨這件事，首先它是隨機不去確定的，這條資訊直接否定了發生概率為98%的事件------不下雨，把非常大概率的事情（不下雨）否定了，即消除不確定性的程度很大，所以這條資訊的資訊量比較大。這條資訊的情形發生概率僅為2%但是它的資訊量去很大，上面太陽從東方公升起的發生概率很大為1，但資訊量確很小。
從上面兩個例子可以看出：資訊量的大小和事件發生的概率成反比。
資訊量的表示:
資訊熵
單調性，即發生概率越高的事件，其所攜帶的資訊熵越低。極端案例就是「太陽從東方公升起」，因為為確定事件，所以不攜帶任何資訊量。從資訊理論的角度，認為這句話沒有消除任何不確定性。非負性，即資訊熵不能為負。這個很好理解，因為負的資訊，即你得知了某個資訊後，卻增加了不確定性是不合邏輯的。累加性，即多隨機事件同時發生存在的總不確定性的量度是可以表示為各事件不確定性的量度的和。
資訊熵是用來衡量事物不確定性的。資訊熵越大，事物越具不確定性，事物越複雜。
資訊量與資訊熵
夏農他老人家作為乙個曠世天才，研究出了資訊理論這一對後世產生了巨大影響的理論，而這一理論的基礎概念就是資訊量。資訊是用來消除隨機不確定性的東西 也就是說衡量資訊量大小就看這個資訊消除不確定性的程度。太陽從東方公升起了 這條資訊沒有減少不確定性。因為太陽肯定從東面公升起。這是句廢話，資訊量為0。吐魯番...
資訊量和資訊熵
原文在這裡 距離有近有遠，時間有長有短，溫度有高有低，我們知道可以用公尺或者千公尺來度量距離，用時分秒可以來度量時間的長短，用攝氏度或者華氏度來度量溫度的高低，那麼我們常說這句話資訊多，那句話資訊少，那麼資訊的多少用什麼度量呢？資訊量！資訊量是度量知曉乙個未知事物需要查詢的資訊的多少，單位是位元。比...
資訊量 資訊熵 交叉熵 相對熵
1 資訊量 陳羽凡吸毒？工作室不是剛闢謠了嗎？哇！資訊量好大！在生活中，極少發生的事情最容易引起吃瓜群眾的關注。而經常發生的事情則不會引起注意，比如吃瓜群眾從來不會去關係明天太陽會不會東邊公升起。資訊量的多少與事件發生概率的大小成反比。對於已發生的事件i，其所提供的資訊量為 其中底數通常為2，負號的...