如下：
在概率論中，如果x和y無關，p(x,y)=p(x)p(y)；如果x和y越相關，p(x,y)和p(x)p(y)的比就越大。從後兩個條件概率可能更好解釋，在y出現的條件下x出現的概率除以單看x出現的概率，這個值越大表示x和y越相關。
log來自於資訊理論的理論，而且 log 1 = 0 ，也恰恰表明p(x,y) =
p(x)p(y)，相關性為0，而且log是單調遞增函式，所以 「p(x,y) 就相比於 p(x)p(y) 越大，x 和 y 相關性越大」
這一性質也得到保留。
為此人們通常會計算乙個ppmi（positive pmi）來避免出現-inf，即
1 互資訊 資訊熵 條件互資訊 相關
參考於 資訊量可以被看成在學習 x 的值的時候的 驚訝程度 如果有人告訴我們乙個相當不可能的時間發生了,我們收到的資訊要多於我們被告知某個很可能發生的事件發生時收到的資訊。如果我們知道某件事情一定會發生,那麼我們就不會接收到資訊。於是,我們對於資訊內容的度量將依賴於概率分布p x 因此我們想要尋找乙...
熵和互資訊
讀文獻想要算通道容量的時候，遇到了需要用到熵和互資訊相關的推導，所以找紀佬要來資訊理論的課件拿來看了看，在這裡也是乙個記錄。先搬上來兩個定義。熵的定義 互資訊量的定義 好的，掌握到這裡基本上就ok了，但是在資訊理論研究中我們還是要經常用一點條件互資訊的東西，那麼可以用這個venn圖來看。圖轉侵刪 這...
列向量互資訊計算
首先資訊熵的計算公式如下 其中i x 表示x的資訊量 注 這裡對數所使用的底，通常是 2,自然常數e，或是10。當b 2，熵的單位是bit 當b e，熵的單位是nat 而當 b 10,熵的單位是dit。p xi 是xi發生的概率英文裡面叫做probability mass function，乙個隨機...