關於熵的一些數學知識

一些資訊熵的含義

(1) 資訊熵的定義：假設x是乙個離散隨即變數，即它的取值範圍r=是有限可數的。設pi=p，x的熵定義為：

若(a)式中，對數的底為2，則熵表示為h2(x)，此時以2為基底的熵單位是bits，即位。若某一項pi=0，則定義該項的pilogpi

-1為0。

(2) 設r=，並定義p=p，p=1-p。則此時的h(x)=-plogp-(1-p)log(1-p)。該h(x)非常重要，稱為熵函式。熵函式的的曲線如下圖表示：

再者，定義對於任意的x∈r，i(x)=-logp。則h(x)就是i(x)的平均值。此時的i(x)可視為x所提供的資訊量。i(x)的曲線如下：

(3) h(x)的最大值。若x在定義域r=，則0<=h(x)<=logr。

(4) 條件熵：定義

推導：h(x|y=y)= ∑p(x|y)log

h(x|y)=∑p(y)h(x|y=y)= ∑p(y)*∑p(x|y)log

h(x|y)表示得到y後，x的平均資訊量，即平均不確定度。

(5) fano不等式：設x和y都是離散隨機變數，都取值於集合。則

h(x|y)<=h(pe)+pe*log(r-1)

其中pe=p。fano表示在已經知道y後，仍然需要通過檢測x才能獲得的資訊量。檢測x的乙個方法是先確定x=y。若x=y，就知道x；若x≠y，那麼還有r-1個可能。

(6) 互資訊量：i(x;y)=h(x)-h(x|y)。i(x;y)可以理解成知道了y後對於減少x的不確定性的貢獻。

i(x;y)的公式：

i(x;y)=∑(x,y)p(x,y)log

(7) 聯合熵定義為兩個元素同時發生的不確定度。

聯合熵h(x,y)= ∑(x,y)p(x,y)logp(x,y)=h(x)+h(y|x)

(8) 通道中互資訊的含義

互資訊的定義得：

i(x,y)=h(x)-h(x|y)= i(y,x)=h(y)-h(y|x)

若通道輸入為h(x)，輸出為h(y)，則條件熵h(x|y)可以看成由於通道上存在干擾和雜訊而損失掉的平均資訊量。條件熵h(x|y)又可以看成由於通道上的干擾和雜訊的緣故，接收端獲得y後還剩餘的對符號x的平均不確定度，故稱為疑義度。

條件熵h(y|x)可以看作唯一地確定通道雜訊所需要的平均資訊量，故稱為雜訊熵或者散布度。

(9) i(x,y)的重要結論

互資訊

互資訊i(x,y)只是輸入信源x的概率分布p(xi)和通道轉移概率p(yj|xi)的函式，可以證明當p(xi)一定時，i是關於p(yj|xi)的∪函式，存在極小值；當p(yj|xi)一定時，i是關於p(xi)的∩函式，存在極大值。

(10) 聯合熵、條件熵的關係圖。h(x)>=h(x|y)，h(y)>=h(y|x)。